Автоматизированное тестирование удаленной системы

ЗАКАЗЧИК

Заказчик – хорошо известная компания-поставщик решений для автоматизации производственных процессов.

ПРОЕКТ

Проект, для которого разрабатывались автоматические тесты, был предназначен для автоматизации производственных процессов отдела обслуживания клиентов (продажи, послепродажное обслуживание, финансовые операции, самообслуживание) и внутренних технологических процессов в отделе. Система использовалась в основном операторами сотовой связи.
30 разработчиков программного обеспечения в течение 4 лет работали над проектом на стороне заказчика. Команда A1QA участвовала в проекте совместно с отделом тестирования заказчика.

ЗАДАЧА

Основной целью проекта была разработка большого набора автоматических скриптов для регрессионного тестирования. Такая цель была поставлена по следующим причинам:

• После обновлений системы возникали проблемы с ее установкой и множество других дефектов;
• Необходимость тестирования разных версий продукта на разных платформах требовала использование автоматических тестов.
  

Дополнительные условия

• Скрипты для автоматизированного тестирования были разработаны с использованием удаленного доступа к системе через Интернет;
• Описание тестовых сценариев было предоставлено заказчиком (на основе внутренних тест планов для функционального тестирования);
• Необходимо было использовать библиотеки, разработанные заказчиком, и обеспечить совместимость скриптов с системой тестирования на стороне заказчика;
• Автоматические тесты должны были поддерживать разные региональные и языковые настройки.
  

РЕШЕНИЕ

Проект по автоматизированному тестированию системы был разделен на две фазы – начальную и активную.

Начальная (пилотная) фаза
Главной целью пилотной фазы была разработка начального набора тестов и наладка взаимодействия с заказчиком. В течение пилотной фазы была проделана следующая работа:

• Были разработаны несколько демонстрационных тестовых сценариев;
• Были разработаны общие функции (framework) для обработки элементов управления;
• Были установлены и устранены все проблемы с удаленным доступом;
• Был налажен процесс взаимодействия с заказчиком.

Активная фаза разработки
Главной целью активной фазы была разработка и выполнение тестов.

ВЗАИМОДЕЙСТВИЕ С ЗАКАЗЧИКОМ 

• Принимая во внимание то, что описания тестовых сценариев были адаптированы к проекту автоматизации и содержали неточности, бизнес-анализ требований был выделен в отдельный процесс, предваряющий разработку скриптов.
• Заказчику был предоставлен удаленный доступ к системе хранения информации о ходе работы над тестовыми сценариями. Все изменения, дополнительные требования и обнаруженные дефекты фиксировались в централизованной базе данных и были доступны всем участникам проекта.
• На стороне заказчика была создана система для ночного выполнения тестов на разных платформах. Такой подход позволил отслеживать дефекты в скриптах, которые зависели от тестовых платформ и конфигураций рабочих станций.

ИСПОЛЬЗОВАННЫЕ ТЕХНОЛОГИИ

• Интернет-браузер: Internet Explorer 6.0
• Средство автоматизированного тестирования: Test Complete 4
• База данных скриптов и система отслеживания дефектов: IBM Rational ClearQuest
• Система контроля версий: IBM Rational Clear Case
• Язык скриптов: C# Script

РЕЗУЛЬТАТЫ 

• Заказчику был предоставлен дополнительный набор тестовых сценариев;
• Специалисты по функциональному тестированию на стороне заказчика могли самостоятельно генерировать и запускать любые тесты (указывая различные входные данные, в том числе влияющие на ход тестов) с помощью утилиты, упрощающей запуск; 
• Конечный программный код был совместим с внутренними разработками заказчика, что обеспечило возможность повторного использования скриптов и автоматических тестов;
• Большой опыт автоматизированного тестирования помог команде A1QA разработать нестандартные решения для некоторых сложных задач. Например, было разработано комплексное решение для обработки всех таблиц в приложении;
• Важным свойством скриптов была их независимость от тестовых платформ. Заказчику потребовалось лишь один раз подготовить тестовые данные для новой базы данных. После каждого обновления системы в распоряжении специалистов был готовый к использованию тестовый сценарий;
• Тестовые скрипты были устойчивы к любым неожиданным ошибкам и необрабатываемым ситуациям; 
• Хорошо организованный процесс взаимодействия позволил снизить участие заказчика в разработке описания тестов; 
• Общее количество разработанных тестов составило 350 и покрыло 20% функциональности продукта.