Портфолио

Комплексное тестирование ПО для ведения здорового образа жизни

В A1QA обратилась компания-разработчик программного обеспечения за проведением комплексного тестирования веб-сервиса и мобильных приложений. Основной бизнес-целью заказчика было выпустить продукт высокого качества на рынок в кратчайшие сроки.

Выполненные работы

  • Функциональное тестирование
  • Тестирование совместимости
  • Тестирование мобильных приложений
  • Тестирование локализации
  • Интеграционное тестирование
  • QA-консалтинг
  • Автоматизация тестирования

Состав команды

  • 25 QA-инженеров

Продолжительность

  • Текущий проект (с 2014 года)

Инструменты и технологии

  • Html/CSS, JavaScript, jQuery
  • Java
  • Apache
  • VMware Workstation, Virtual Box
  • Atlassian JIRA, Atlassian Confluence
  • OracleDB
  • Paradigm
  • TestRail
  • Fiddler, SoapUI
  • Internet Explorer, Firefox, Google
  • Chrome, Safari, EDGE
  • Windows 7 – 10, Mac OS X, iOS 6-9,
  • Android 4.0 – 6.0

Обзор продукта

Веб-сервис был разработан для приобщения сотрудников различных компаний к здоровому образу жизни. Регистрируясь на портале, пользователь вводил свои физические данные (возраст, рост, вес, артериальное давление и т.д.), описывал ежедневный образ жизни. Система оценивала полученные данные и рассчитывала биологический возраст пользователя.

После этого пользователь получал индивидуальный план здорового образа жизни. План состоял из целей, которые необходимо было достичь к определенному сроку. Достижение каждой цели требовалось подтвердить. Каждая цель оценивалась баллами. Достижение целей поощрялось руководством компании пользователя.

Для выполнения поставленных задач в A1QA было сформировано четыре выделенные команды: три обеспечивали качество веб-сервисов, одна проводила тестирование на мобильных устройствах.

Обзор проекта

Разработка веб-сервиса ведется в течение пяти лет. Сегодня это комплексный продукт, состоящий из анкеты пользователя, обучающих курсов и вебинаров по
здоровому образу жизни, онлайн-магазина фитнес- товаров, тематической игры, мобильных приложений. Каждый из компонентов требует тщательного
тестирования.

Для предоставления качественного пользовательского опыта на всех типах устройств, независимо от операционной системы и разрешения экрана, портал был разработан с адаптивным дизайном. Команда A1QA проводила тестирование графического интерфейса.

Внедрение кастомизированной системы управления контентом позволило использовать сервис партнерами портала по программе «White Label». Впоследствии, благодаря масштабной рекламной кампании одного из партнеров, популярность веб-сервиса выросла, объемы тестирования увеличились.

Соответствие стандартам HIPAA

Закон о передаче и защите данных учреждений здравоохранения (HIPAA) устанавливает стандарты, обеспечивающие защиту и сохранение конфиденциальности медицинской информации. Закон также регулирует подход к разработке и тестированию ПО, использующего данные пациентов. 

Все специалисты A1QA на проекте были HIPAA- сертифицированными специалистами и в полном объеме учли требования данного закона при подготовке плана и стратегии проверки продукта.

Тестовое окружение

Для обеспечения максимальной полноты покрытия QA-специалисты построили 27 стабильных тестовых окружений. Тестирование проводилось на различных мобильных платформах и операционных системах. Подготовка тестовых данных, моделирование возможных сценариев использования приложений осуществлялись с использованием специально разработанных инструментов.

Тестирование приложений для мобильных и носимых устройств

По мере развития проекта заказчик привлек команду A1QA к обеспечению качества мобильных приложений. Изначально специалисты по мобильному тестированию начинали работать с двумя мобильными приложениями (одно для Android, одно для iOS). 

Сегодня наша команда ежемесячно обеспечивает качество релизов восьми приложений, разработанных для различных партнеров сервиса. 

Отметим, что тестирование проводится исключительно на реальных устройствах, что позволяет получить информативные результаты и смоделировать реальный пользовательский опыт.

Для выбора устройств специалисты A1QA анализируют статистику использования устройств (Google Analytics) среди целевой аудитории и составляют гибкую матрицу подходящих моделей.

Автоматизация тестирования

Командой автоматизаторов A1QA было разработано гибкое решение, которое автоматизировало 95% регрессионных тестов и легко адаптировалось под любые изменения в продукте.

Преимущества внедрения автоматизации:

  • Снижение затрат на QA;
  • Сокращение времени на регрессионное
    тестирование на 40%;
  • Оперативное оповещение в случае
    обнаружения критических дефектов.

Тестирование интеграции

Мобильные приложения поддерживают интеграцию с:

  • Google/Apple Maps
  • Foursquare
  • HealthKit
  • Google Fit
  • Apple Watch
  • сторонними приложениями Calm и Headspace

Веб-портал интегрирован с различными сторонними сервисами:

  • Google Analytics
  • Map My Fitness
  • Salesforce
  • Amazon
  • Hyatt
  • Gyft
  • Vindicia

Качество интеграции также обеспечивают специалисты A1QA.

QA-консалтинг

Разработка продукта ведется множеством географически распределенных команд. До привлечения команды A1QA тестированию продуктов не уделялось должного внимания. Для того чтобы настроить и оптимизировать качественный процесс тестирования, было решено привлечь специалистов по QA-консалтингу A1QA.

Консультанты в области качества ПО:

  • Определили стратегию тестирования, обработки инцидентов и дефектов пользователей, управления тестовой моделью.
  • Разработали показатели эффективности процесса тестирования.
  • Определили ключевые области ответственности, роли и обязанности членов команды.
  • Построили релизный цикл, процесс работы со сборкой.
  • Организовали процесс работы с ошибками реализации проекта.
  • Разработали корректирующие и превентивные мероприятия.

Трудности

В течение 5 лет разработкой продукта занимались распределенные команды из разных стран. Процесс взаимодействия был плохо организован, значимость контроля качества недооценивалась. 

Во время тестирования команда A1QA столкнулась и нашла решения следующим трудностям:

Трудности Решения
Команда разработки закладывала недостаточно времени на тестирование
  • Точная оценка времени, затраченного для любых активностей;
  • Планирование работы с участием всех команд;
  • Управление качеством по циклу PDCA;
  • Реализации стратегии управления рисками.
Изначально низкое качество продукта
  • Определение критериев окончание работы над User Story;
  • Определение ожидаемого качества продукта;
  • Прозрачный процесс развертывания;
  • Управление процессом тестирования на основе количественных характеристик.
Специфические характеристики Production-среды
  • Конфигурация тестовой среды в соответствии с настройками Production. Это помогло обнаруживать специфические дефекты на этапе развертывания до выхода продукта в релиз.
Стремительный рост команды по тестированию
  • Гибкое и оперативное масштабирование команды было налажено благодаря обучению новых сотрудников опытными инженерами и созданию базы знаний о проекте.
Необходимость выработки принципов контроля качества
  • Сбор и анализ статистики;
  • Разработка метрик контроля качества.
Управление большим количеством тест-кейсов
  • Использование TestRail вместо отдельных документов Google Docs для управления наборами тест-кейсов.
Некоторые мобильные устройства, необходимые для тестирования, отсутствовали
  • Команда A1QA не использует эмуляторы. Поэтому для проведения комплексного тестирования мобильных приложений и получения информативных результатов с учетом целевой аудитории были приобретены необходимые устройства.

Результат

  • Проект стартовал в 2014 году и продолжается по сегодняшний день. За это время команда A1QA выросла более чем в шесть раз (с 4 до 25 инженеров).
  • В течение всего срока сотрудничества команда A1QA выполняла тестирование точно в срок и без превышения установленного бюджета.
  • Высокое качество продукта обеспечило его популярность на рынке. Сегодня число конечных пользователей продуктов превышает 3 миллиона человек. 
  • Заказчик остался полностью доволен результатами работы и продолжил сотрудничество с A1QA.