Блог A1QA

О тестировании и качестве ПО

Обеспечиваем качество мобильных приложений: тестируем Pokemon GO

В заключительной статье про обеспечение качества мобильных приложений мы расскажем о том, как по собственной инициативе мы тестировали Pokémon GO, игру, покорившую многомиллионную аудиторию пользователей в 2016 году.

Сразу заметим, что тестирование мы проводили в начале августа, то есть сразу после выхода игры на рынок.

К настоящему моменту многие из указанных дефектов уже исправлены. Однако «соль» статьи не в актуальности дефектов, а в том, чтобы показать, как мы применяли все теоретические знания, которыми делились с вами в предыдущих статьях.

Итак, в июле прошлого года мы установили игру на свои смартфоны и приготовились погрузиться в то время, когда школьниками мы собирали фишки с изображениями карманных монстров и спешили домой с последнего урока, чтобы следить за приключениями Эша и Мисти.

Ну и какими бы тестировщиками мы были, если бы не предприняли попытку протестировать игру?

Вспоминаем первую статью и собираем всю известную нам информацию о продукте.

Что мы знаем об игре Pokémon GO?

  • Многопользовательская ролевая игра;
  • Бесплатная игра;
  • Основана на определении местоположения дополненной реальности.

Что еще? Нам также известно, что приложение ориентировано, в первую очередь, на пользователей США, Австралии и Новой Зеландии.

Построено оно на движке Unity и из операционных систем поддерживает iOS (8 и 9) и Android (4, 5, 6). Напомним, что тестирование проводится в августе прошлого года и до релиза iOS 10 еще примерно месяц.

Важный момент, что тестирование на планшетах не потребуется, т.к. приложение для них не адаптировано.

Поскольку для определения вашего местоположения приложение использует GPS-модуль и постоянное интернет-соединение, при тестировании стоит обратить на эти функциональности особое внимание.

Итак, проанализировав имеющуюся информацию и изучив статистику популярности устройств и операционных систем, мы составили следующий список тестовых конфигураций:

Список тестовых конфигураций для Pokémon GO

Для iOS были включены все устройства, начиная с iPhone 5. При этом для двух устройств заложено тестирование на iOS 8.

Android-устройств получилось немного больше. Это вызвано необходимостью охватить большее количество версий операционной системы, а также разной популярностью устройств в разных регионах. Кроме того, за счет данного покрытия мы проверили приложение на устройствах с пятью разными разрешениями экрана.

Какие дефекты мы нашли в Pokémon GO?

По ряду объективных причин, таких как отсутствие доступа к бэкенду приложения (заказчик-то у нас гипотетический) и возможности получить готовые тестовые данные (в том числе и с точки зрения подмены геолокации), нам вряд ли удалось выявить абсолютно все дефекты.

Но и того, что мы нашли, было бы более чем достаточно, чтобы составить многостраничный отчет по тестированию.

Дефекты, блокирующие работу приложения:

  • Невозможность авторизоваться в приложение. С этой проблемой сталкивался чуть ли не каждый второй пользователь Pokémon GO.
  • Еще одна проблема, с которой столкнулось большинство пользователей, появлялась в самом начале игры при создании персонажа. Ошибка не позволяла начать игру.

Критичный дефект:

  • Так называемый баг «3-х лапок». Основная фишка игры – дополненная реальность. Пользователь перемещается в реальном мире и ловит покемонов. Изначально предполагалось, что по количеству «лапок» под покемоном можно понять, как далеко он находится и сколько необходимо пройти, чтобы поймать его. Но оказалось, данная функциональность у многих не работала и число «лапок» всегда равнялось трем.

Как профессиональные тестировщики мы подтверждаем обнаружение багов скриншотами.

Тестирование Pokémon GO

Также мы нашли ряд довольно крупных (major) дефектов, которые значительно усложняли работу с приложением, хотя и не блокировали ее полностью:

  • Регулярные проблемы с отображением всего UI. Исправить их можно было, перезапустив приложение или очистив кэш.
  • Отсутствие отображения игровых персонажей и покемонов. Хотя по косвенным признакам было понятно, что они там есть.
  • Проблемы в работе режима AR (англ. augmented reality – дополненная реальность), который и является одной из фишек приложения. Но как оказалось, многие не смогли ею пользоваться. Нам кажется, что проблема не только в аппаратных ограничениях, но и в программных.

Не столь серьезные, но не менее приоритетные дефекты (average) были связаны с работой нескольких функций приложения. Неудобное использование справочника покемонов, частые проблемы с камерой и GPS-модулем. Эти дефекты хоть и не блокировали работу приложения, но доставляли изрядные неудобства.

Но и это еще не все. Мы также обнаружили несколько минорных (minor) дефектов, которые скорее могли вызвать улыбку, нежели недовольство пользователей. Это проблемы с отрисовкой персонажа и других объектов, и, например, возможность превышения лимита предметов в инвентаре персонажа. Так, инвентарь нашего персонажа мог состоять из 350 вещей, мы же смогли в него положить 353.

Если бы наш клиент был реальным, мы бы, конечно, занесли все дефекты в отчет по тестированию и по качеству продукта. Да и одной итерацией тестирования мы бы не ограничились.

Игра Pokémon GO вышла на рынок в начале июля прошлого года. Вскоре после выхода игры в США Apple объявила, что количество скачиваний приложения за первую неделю побило предыдущий рекорд, установленный игрой Candy Crush Saga.

Однако уже спустя полтора месяца в игру перестали заходить более 10 миллионов человек. Причин тому может быть много, среди них и обнаруженные нами дефекты. Кто знает, если бы Niantic уделили больше внимания тестированию, сколько бы пользователей остались лояльны к игре?

На этом все. Теорию изложили, приложение протестировали. Надеемся, вы найдете, как применить полученные знания на практике.

Если у вас остались вопросы — добро пожаловать в комментарии.

Все аспекты и принципы тестирования мобильных приложений изложены здесь.

Поделиться статьей: