Блог A1QA

О тестировании и качестве ПО

Как инженеры A1QA проводили приемо-сдаточные испытания ПО: Часть 1. Теоретическая

Вот уже более двух лет команда A1QA работает на проекте по созданию платежной системы для одного крупного банка. Поначалу задачи нашей команды сводились только к тестированию системы, однако через некоторое время заказчик поручил нам подготовку и проведение приемо-сдаточных испытаний.

Задача эта не типичная для тестировщиков. Поэтому мы решили поделиться своим опытом и рассказать, как ее грамотно выполнить, оправдав доверие заказчика.

Что такое приемо-сдаточные испытания (ПСИ)?

Прежде чем выпускать продукт на рынок, заказчик должен убедиться в возможности использования разработанного решения, в его безопасности, надежности, корректном функционировании и проверить другие характеристики, описанные в требованиях к продукту.

ПСИ особенно актуальны для проектов, на которых выпуск некачественного продукта может привести к значительным финансовым потерям (к слову, наш проект именно к таким и относится).

Итак, цели проведения ПСИ:

  • Подтвердить соответствие продукта заявленным требованиям;
  • Выявить ошибки, допущенные при разработке;
  • Подтвердить возможность внедрения в опытную и промышленную эксплуатацию.

Избежать хаоса в подготовке и проведении ПСИ, развеять сомнения в методах убеждения и их эффективности помогают различные нормативно-правовые документы, которые стандартизируют процессы разработки и тестирования.

Один из таких документов, обязательный для любых приемо-сдаточных испытаний, – это «Программа и методика испытаний».

Документ «Программа и методика испытаний»: что нужно знать тестировщику

Написанием и форматированием данного документа обычно занимаются специально обученные люди, например, технические писатели.

Однако знать, из чего состоит документ, тестировщику не помешает. Кроме того, подготовка одного из разделов может быть поручена именно тестировщикам.

Обратимся к официальной документации. Согласно межгосударственному стандарту ГОСТ 19.301-79, документ «Программа и методика испытаний» должен иметь следующую структуру:

  • Раздел «Объект испытаний» – название продукта, область его применения;
  • Раздел «Цель испытаний» – цели ПСИ, которые мы обозначили выше;
  • Раздел «Требования к программе» – требования, подлежащие проверке во время испытаний и перечисленные в «Техническом задании» (ТЗ) на программу. Обратите внимание, требования, которые указываются в данном разделе, должны быть продемонстрированы во время испытаний (или хотя бы запланированы). Если в продукте реализовано 100% требований, но продемонстрировать по тем или иным причинам вы можете только 70%, значит, в этот раздел включаются только 70% требований, которые будут продемонстрированы заказчику. Оставшиеся 30% заказчик будет считать нереализованными до тех пор, пока не убедится в обратном;
  • Раздел «Требования к программной документации» – состав программной документации, предъявляемой на испытании, а также специальные требования к документации, если они заданы в ТЗ);
  • Раздел «Средства и порядок испытаний» – перечень технических и программных средств, используемых во время испытаний, а также порядок проведения испытаний. Рекомендуем максимально подробно описать все средства, которые вы планируете использовать для демонстрации. Базы данных, программы для чтения содержимого очередей, консоли, логи, автотесты – все это должно быть зафиксировано в данном разделе, иначе засчитано и допущено к демонстрации не будет;
  • Раздел «Методы испытаний» – указывается, как именно проводится демонстрация, какие методы используются для проверки реализации того или иного требования и ожидаемый результат по каждой проверке.

Какой из разделов под силу подготовить функциональному тестировщику? Конечно же, «Методы испытаний». Об этом поговорим позже, а пока еще немного теории.

Критерии успешности приемо-сдаточных испытаний

Как правило, успешность ПСИ определяется на этапе заключения контракта. Одним из таких критериев может быть процент успешно пройденных во время демонстрации проверок. Например, если на проверку выносятся 100 тест-кейсов и критерий pass-rate составляет 80%, то 80 тест-кейсов должно быть успешно пройдено, иначе считается, что продукт приемку не прошел, а значит, не может быть допущен к опытной и промышленной эксплуатации.

На практике же успешность приемо-сдаточных испытаний чаще определяется не одним критерием, а совокупностью нескольких. Например, учитывается процент реализованных требований от общего числа и ограничение по количеству дефектов того или иного приоритета. Оперируя данными по этим критериям, принимается решение об успешности ПСИ.

На этом необходимая теория заканчивается. В следующей части расскажем, как приемо-сдаточные испытания проводила команда A1QA и какие трудности ей пришлось преодолеть.

Поделиться статьей: