Тестирование встроенной системы

ЗАКАЗЧИК

Заказчик является ведущим разработчиком встроенных систем в США. Компания широко использует инновации и самые современные технологии при разработке встроенных систем различного целевого назначения.

ПРОЕКТ

Измерительная платформа определения характеристик оптоволоконных линий передачи данных. Определяет события оптического кабеля (обрывы, соединения) по обратному сигналу. Удачное конструктивное решение позволяет пользователям приобретать различные сменные модули по мере необходимости и проводить все типы измерений оптического кабеля. Сменные модули легко устанавливаются и заменяются. Важные функции измерительной платформы – файловая система, сжатие информации, альтернативный пользовательский интерфейс (кнопки и Touch screen).

ЗАДАЧА

• Заказчику требовалась услуга контроля качества на протяжении всего цикла разработки системы.
• Было необходимо провести тестирование оборудования, среды исполнения, программного обеспечения и системы на целевой платформе. 
• Требовалось провести дополнительное тестирование интерфейсов и модифицированных драйверов.
• Было необходимо оказать помощь группе разработчиков в оценке качества работы ЖК-дисплея, быстродействия математического аппарата.
• Требовалось выполнить функциональные тесты, тесты графического пользовательского интерфейса, реализовать набор автоматических тестов.

РЕШЕНИЕ

Решение I. Тестирование аппаратной части

Действия, выполненные совместно с группой разработчиков:
1. Отладка при проектировании аппаратуры;
2. Документация ошибок;
3. Внесение изменений в конструкторскую документацию.

Независимые действия:
1. Тестирование аппаратуры (специальное оборудование: осциллограф, др.);
2. Тестирование интерфейсов ЖКИ, Touch screen, SDRAM, Ethernet, частично USB (с использованием программных тестов, разработанных A1QA);
3. Корректировка документации.

Решение II. Тестирование среды исполнения (средний уровень)

На этом уровне были проведены специально разработанные для проекта тесты. Набор был определён спецификой проекта: группа разработчиков модифицировала драйверы RS232 (УАПП), ЖКИ и USB.

Независимые действия:
1. Использование тестовых наборов (test suite) и стандартов для проверки работоспособности операционной системы после изменения драйверов;
2. Смешанные тесты ЖКИ на целевой платформе;
3. Функциональные тесты (работа пользователя с дисплеем);
4. Технические тесты (определение правильности работы специальными измерениями);
5. Проверка работоспособности системы после сборки на целевой платформе.

Решение III. Тестирование верхнего уровня (прикладное ПО)

Независимые действия:
1. Модульное тестирование протокола RS232 и частично USB;
2. Функциональные тесты и тесты графического интерфейса пользователя:
a. Проверка соответствия спецификации (например, доступность всей функциональности с физической клавиатуры прибора);
б. Тестирование функций работы файловой системы и обновления ПО через Ethernet;
в. Проверка математического аппарата;
3. Технические тесты (атака по IP-адресу, многократная перепрошивка устройства);
4. Полное функциональное тестирование прибора на целевой платформе;
5. Автоматизированное тестирование графического интерфейса:
a. Косвенные тесты графического интерфейса в виде модульных тестов с использованием стандартных GUI библиотек для доступа к элементам интерфейса;
б. Эмуляция действий пользователя (генерация событий с клавиатуры или сенсорного экрана) и проверка правильности результатов.

Совместное тестирование с группой разработчиков:
1. Оптимизация вывода данных. В результате были оптимизированы драйвер ЖКИ и математический аппарат:
a. Зацикливание выходных данных;
б. Измерение временных характеристик при помощи разработанной утилиты Profiling and Coverage Tool;
c. Анализ результатов и выработка рекомендаций:
- Рекомендовано использовать альтернативные функции для работы ЖКИ (pixmap для прорисовки);
- Даны рекомендации по усовершенствованию математического аппарата (при оптимизации кода исключить лишние циклы в операциях).
2. Исследование качества вывода на панели разных производителей. Было установлено, что некоторые модели имеют низкое качество:
a. Определены изменения в качестве изображения при изменении входных данных;
б. Разработаны визуальные тесты на Qt-Embedded (подобные Nokia Monitor Test);
в. Выполнено большое количество тестов;
г. Проведен анализ результатов, рекомендован набор параметров для повышения качества.

ИСПОЛЬЗОВАННЫЕ ТЕХНОЛОГИИ

Платформа:

• Архитектура: XScale
• ОС: iLinux (Intrinsyc Software)

Тестирование:

• Языки программирования: C, C++
• Программные интерфейсы и библиотеки: Linux kernel, Qt-Embedded

РЕЗУЛЬТАТЫ 

• Заказчик высоко оценил оперативность работы.
• Рекомендации A1QA по организации вывода информации позволили значительно улучшить интерфейсную часть прибора.
• В результате оптимизации математического аппарата был достигнут двукратный прирост производительности.
• Благодаря отдельному тестированию среды исполнения были локализованы и решены проблемы производительности соответствующего уровня до полной сборки системы.
• Эффективное взаимодействие между группами разработчиков и специалистов по тестированию позволило выявить дефекты, избежать отставаний в разработке и разрешить все проблемные ситуации наилучшим образом.