a1qa проводит полный цикл тестирования eCommerce-решения на Magento и обеспечивает качество релиза в кратчайшие сроки

ОПИСАНИЕ ПРОДУКТА

Клиент – один из крупнейших интернет-магазинов по продаже натуральных продуктов: витаминов, гомеопатических средств, средств по уходу и товаров для животных.

Магазин функционировал на базе CMS Magento Community Edition.

В связи с расширением бизнеса у клиента возникли следующие потребности:

  • Провести безболезненную миграцию магазина с платформы Magento Community Edition на Magento Enterprise Edition.
  • Реализовать адаптивный дизайн веб-сайта.
  • Улучшить имеющуюся функциональность.
ОПИСАНИЕ ПРОЕКТА

С учетом данных потребностей клиента нужно было провести следующие виды тестирования:

  • Полный цикл тестирования новой и имеющейся функциональности сайта после перехода на Magento EE.
  • Тестирование пользовательского интерфейса с переходом на адаптивный дизайн.
  • Кросс-браузерное тестирование.
  • Тестирование на мобильных устройствах.
  • Тестирование миграции данных. Вся информация о заказах на сайте мигрировала в базу данных с новой структурой в связи с переходом на Magento EE. Важно было удостовериться, что ни один заказ не остался необработанным.
  • Нагрузочное тестирование для определения скорости работы сайта при единовременной работе различного числа пользователей.

Для выполнения всех задач по тестированию была выбрана команда a1qa. Инженеры обладали достаточной экспертизой, чтобы закрыть все потребности по различным сервисам. Кроме того, команда a1qa подготовила детальный план работ по тестированию с рациональным распределением бюджета, которым располагал заказчик.

Тестируемые модули

Команда a1qa тестировала все модули решения как на клиентской части, так и на серверной.

Модули фронтенда: регистрация пользователя, навигация по каталогу, различные типы поиска и фильтрации, добавление товаров в корзину, применение промокодов, использование специальных условий акций, размещение заказа и оплата, бонусная программа, различные нотификации.

На бэкенде были реализованы настройки каталога и параметров продуктов, создание маркетинговых акций и условий скидок, управление остатками товаров, управление заказами и оплатой и многое другое.

При проверке функциональности продукта было выявлено множество дефектов различной степени серьезности. Более половины имели статус major и выше. Именно они в будущем могли оказать негативное влияние на пользовательский опыт.

Наиболее серьезный дефект относился к функциональности оплаты товаров посредством платежной системы PayPal. Дефект требовал немедленного устранения, поскольку мог серьезно повлиять на прибыль компании заказчика.

Кросс-браузерное тестирование

В самом начале привлечения инженеров a1qa заказчик принял решение отказаться от поддержки браузера IE и других устаревших версий популярных браузеров. Тесты проводились в последних версиях Google Chrome, Firefox и Safari.

Мобильное тестирование

Для оценки адаптивного дизайна инженеры выполнили тестирование продукта на различных мобильных устройствах (iPhone, iPad, Samsung Galaxy, Samsung Galaxy Tab).

Нагрузочное тестирование

Перед инженерами были поставлены следующие задачи:

  1. Определить максимальное число пользователей, которые имеют доступ к веб-сайту одновременно.
  2. Понять, что происходит, когда нагрузка на веб-сайт превышает допустимую (перестает работать совсем или скорость загрузки страниц падает).
  3. Определить, какой из компонентов системы является ее слабым звеном (веб-сервер, база данных или балансировщик нагрузки).
  4. Собрать статистику по производительности аппаратной части серверов и соотнести ее с числом пользователей.
  5. Измерить скорость отклика веб-сайта для всех ключевых операций, определить самое большое значение.
  6. Собрать статистику ошибок.

В результате тестирования были выполнены все поставленные задачи. Также инженерами был сделан вывод о том, что страницы веб-сайта были очень тяжёлыми, что негативно сказывалось на скорости загрузки решения.

Поэтому были предложены шаги по оптимизации клиентской части (использование серверного или клиентского кэширования, оптимизация изображений и программного кода, сокращение Java-скрипта и т.д.).

По завершению тестирования инженеры создали подробную документацию, в которой изложили всю информацию по качеству продуктов. Команде заказчика были переданы:

  • Отчет по качеству решения с детализацией дефектов, обнаруженных при проведении всех видов тестирования. Дефекты были разбиты по степени серьезности.
  • Отчет по проведению нагрузочного тестирования.
  • Детальное описание дефектов в баг-трекинговой системе Zoho с приложенными скриншотами и файлами видеозаписи.
  • Рекомендации по улучшению качества приложения и оптимизации окружения системы.
ПРЕДОСТАВЛЕННЫЕ СЕРВИСЫ
  • Функциональное тестирование
  • Кросс-браузерное тестирование
  • Тестирование мобильных приложений
  • Нагрузочное тестирование
  • Тестирование юзабилити
  • Тестирование мобильных приложений
  • Полный цикл тестирования
  • Миграционное тестирование
ТЕХНОЛОГИИ И ИНСТРУМЕНТЫ
  • Magento EE
  • MySQL
  • Zoho BugTracker
  • Web
  • iOS
  • Android
QA-КОМАНДА

На стороне заказчика отсутствовали отлаженные процессы тестирования. Кроме того, команда по разработке сильно затягивала сроки, а макеты дизайна и требования к новой функциональности были описаны недостаточно полно, что увеличивало время на коммуникацию и выяснение реальных требований. В результате на стабилизацию и тестирование решения оставалось критически мало времени.

Для проверки ключевых областей продукта и устранения наиболее критичных дефектов QA-команда была увеличена, а сами работы по тестированию проводились и в выходные дни.

В пиковый момент проекта в команду входили: 1 QA-менеджер, 1 инженер по тестированию производительности, 2 QA-инженера.

Средний опыт команды – 1,5 года.

РЕЗУЛЬТАТЫ
  • Миграция на платформу Magento EE была успешно завершена, и заказчик выпустил на рынок продукт высокого качества точно в срок.
  • Все проблемы высокого приоритета были решены до релиза ПО. QA-инженеры нашли и описали все значительные, критические и блокирующие дефекты.
  • Клиент остался доволен работой a1qa, самоотдачей команды и ее проактивностью, а также личным отношением к работе каждого участника.
В ЦИФРАХ
  • 5
    месяцев продолжительность проекта
  • 4
    QA-инженера на проекте
  • 4
    мобильных устройств использовано
  • 50%
    найденных дефектов были значительными
  • 100%
    соблюдение сроков и бюджета проекта