Функциональное тестирование комплексной системы автоматизации

ЗАКАЗЧИК

Заказчик СИТРОНИКС Телекоммуникационные Решения является ведущим поставщиком решений в сфере телекоммуникаций и информационных технологий на рынках России, СНГ, Центральной и Юго-Восточной Европы, стран Африки и Ближнего Востока.

ПРОЕКТ

Проект заключается в разработке и программной поддержке комплексной информационной системы FORIS OSS, предназначенной для автоматизации коммерческих и производственных процессов по обработке расчётных данных и эксплуатации сетей, а также выставлению счетов и приёму платежей для таких операторов мобильной связи, как МТС, МГТС, Skylink, Comstar, UMC Украина.

ЗАДАЧА

В условиях дефицита ресурсов и времени, наличия неактуальной и неполной тестовой модели, устаревшей документации, команде тест-аналитиков были назначены наиболее приоритетные с точки зрения заказчика задачи в процессе подготовки к приёмке-сдаче работ:

• Создание тестовой модели для комплексной системы автоматизации оператора связи FORIS OSS.
• Актуализация имеющейся тестовой модели.
• Разработка нетривиальных тестовых сценариев по результатам анализа полноты покрытия функциональности существующими тестами.
• Выполнение функциональных тестов.
• Разработка программ и методик приёмочных испытаний для проведения приемо-сдаточных испытаний.
• Разработка технических заданий.
• Общий контроль качества.
  

РЕШЕНИЕ

Из ключевых задач, которые были выполнены во время сотрудничества, можно выделить следующие:

• Разработка новой тестовой модели. На основе устаревших методик тестирования, путём непосредственного изучения бизнес-процессов в работе с проектом, разрабатывались тестовые модели со структурированной выборкой данных посредством скриптов.
• Актуализация имеющейся тестовой модели. Редактировалась и дополнялась имеющаяся тестовая модель по ряду причин: неполнота охвата функциональности, обновления системы, наличие дефектов на тестовую модель.
• Создание нетривиальных тестовых сценариев. По результатам анализа полноты охвата существующей тестовой модели необходимо было разработать нетривиальные тестовые сценарии для экстремального тестирования.
• Выполнение функционального тестирования. Проводилось функциональное тестирование комплексной системы автоматизации оператора связи FORIS OSS для МТС, UMC Украина, МГТС.
• Создание программ и методик приёмочных испытаний. На основе функциональных требований и задач на разработку, в условиях отсутствия окончательно реализованной функциональности, создавались программы и методики приёмочных работ для проведения приемо-сдаточных испытаний.
• Разработка технического задания. Была произведена оценка заменяемости отдельных бизнес-процессов эмуляторами, разрабатывались ТЗ для их создания и последующего применения в процессе тестирования.

СОТРУДНИЧЕСТВО С УДАЛЕННОЙ КОМАНДОЙ РАЗРАБОТЧИКОВ

Взаимодействие с заказчиком осуществлялось по следующим направлениям:

• Работа на стороне заказчика. Для повышения эффективности сотрудничества команда тест-аналитиков в целом составе стартовала работу над проектом на стороне заказчика. По окончании первого этапа (3 месяца) по обоюдному согласию был организован VPN-туннель, в результате чего часть команды осталась на стороне заказчика для более плотного взаимодействия и обеспечения своевременной обратной связи, а остальные специалисты начали работать удалённо.
• Использование систем для управления процессом тестирования на стороне заказчика. Написание тестовых моделей, работа с задачами, дефектами и требованиями производилось с использованием систем Mercury Quality System и Team Foundation Server.
• Чёткий и отлаженный процесс приёмки тестовых сценариев. После каждого этапа заказчик контролировал результат работы и вносил изменения при необходимости.
• Комплексная система отчётности. Система отчётности носила комплексный характер: еженедельно заказчик получал необходимую информацию о ходе работ, результатах мониторинга дефектов, завершённых задачах.

ИСПОЛЬЗОВАННЫЕ ТЕХНОЛОГИИ

Система планирования: MS Project

Система учёта дефектов: MQC (Mercury Quality System), TFS (Team Foundation Server) на стороне заказчика

Язык структурированных запросов: SQL

РЕЗУЛЬТАТЫ

В процессе сотрудничества достигнуты следующие результаты:

• Разработана полноценная актуальная тестовая модель со структурными запросами выборки тестовых данных (порядка 1000 тестов).
• Актуализирована имеющаяся тестовая модель в соответствии с работой функциональности системы.
• По результатам анализа тестовой модели на стороне заказчика были разработаны нетривиальные тестовые сценарии, которые не входят в состав отдельных бизнес-процессов.
• В ходе тестирования были выявлены дефекты, а также самостоятельно обнаружены подсистемы, нарушение в работе которых стало причиной нестабильности системы.
• Подготовлен перечень приёмо-сдаточных документов, которые были утверждены заказчиком для последующего проведения приёмки-сдачи функционала (порядка 50 документов).
• Разработан ряд технических заданий на создание и последующее применение эмуляторов для реализации бизнес-процессов, для которых необходимо аппаратное обеспечение в реальных условиях, что недопустимо в процессе разработки системы.
• Заказчик высоко оценил наше умение анализировать требования, оперативно включаться в работу в условиях нехватки времени и своевременно реагировать на смену приоритетов в задачах.
• Заказчик до сих пор сотрудничает с нами на постоянной основе. Команда привлекалась на 4 проекта; в данный момент с декабря 2008 планируется старт нового проекта.