Тестирование big data для корпорации, предоставляющей услуги фармацевтическим компаниям

ОПИСАНИЕ ПРОДУКТА

Заказчик – один из крупнейших мировых лидеров, оказывающих услуги в области фармацевтики и корпоративного аутсорсинга. Содействуя развитию лекарственных средств и консультируя на этапе их разработки, клиент использует инновации для укрепления здоровья и продления жизни людей в разных регионах.

Заказчик собирает, анализирует и преобразует большие данные о торговых операциях в базы данных, которые потом отправляет своим клиентам.

Чтобы обеспечить целостность и полноту информации, а также ее соответствие предъявленным требованиям и бизнес-логике, заказчик обратился в a1qa за сервисом по тестированию big data.

ОПИСАНИЕ ПРОЕКТА

Компания a1qa выделила двух опытных QA-инженеров, которые приступили к тестированию продукта только после первой фазы – подготовки базы данных.

Данная фаза состояла из нескольких шагов:

  1. Клиент отправляет на загрузку исходные файлы со структурированными и полуструктурированными данными.
  2. Затем они загружаются в промежуточные БД (их количество зависит от числа исходных файлов).
  3. Далее все базы преобразуются в одну консолидированную БД со структурированной информацией, представленной в соответствии с бизнес-логикой и требованиями клиента.
  4. Наконец, консолидированная база трансформируется в базу выходных структурированных данных из множества исходных файлов (например, топ-50 корпораций с самыми впечатляющими показателями продаж, дополнительные показатели по среднему объему продаж на основе исходных данных, иные способы группировки данных в зависимости от запросов клиента).

В ходе второй фазы – тестирования – инженеры проверяли:

  • Бизнес-логику на уровне промежуточной/консолидированной баз данных;
  • Соответствие информации в исходных файлах и базе выходных данных после трансформации;
  • Структуру базы;
  • Специфичные проверки (отображение информации списками, правильный расчет добавленных показателей на основе исходных данных, группировки данных и многое другое).

В процессе работы QA-инженерам приходилось тестировать большое количество объемных исходных файлов с помощью SQL-запросов, на что часто уходило много времени.

Поэтому для автоматизации тестирования big data команда использовала инструменты Excel – Power query, Macros, Pivot tables. С их помощью инженеры загружали данные из различных источников (.CSV-файлов, Excel, БД), группировали их и сравнивали. Для удобной визуализации данных команда планирует использовать инструмент Power BI.

В ходе последующей стабилизации все узкие места, обнаруженные QA-инженерами на уровне БД, отправляются программистам на доработку (если данные были потеряны или обрезаны, содержали непредвиденные символы, загружались не в полном объеме, формат был считан некорректно и многое другое).

Только в случае бездефектной работы новой версии ее отправляли в продуктовую среду.

ПРЕДОСТАВЛЕННЫЕ СЕРВИСЫ
  • Тестирование Big data
ТЕХНОЛОГИИ И ИНСТРУМЕНТЫ
  • Excel Power query
  • Macros и VBA
  • Pivot tables
  • Connections
  • SSIS
РЕЗУЛЬТАТЫ
  • За время работы на проекте специалисты a1qa протестировали 9 баз данных, содержащих от 3 до 20 объемных исходных фалов. Сейчас сотрудничество с клиентом продолжается, а QA-инженеры вносят свой вклад в повышение качества конечных продуктов, дополняя внутреннюю команду клиента.
В ЦИФРАХ
  • 5+
    лет сотрудничества с клиентом
  • 2
    QA-инженера, ответственных за качество конечного продукта
  • 9
    баз данных протестировано за время сотрудничества