Pull to refresh
129.29
Контур
Делаем сервисы для бизнеса

Kontur Mobile Test Session: 446 багов за 5 часов

Reading time 5 min
Views 3.6K

В декабре Контур принимал ежегодную городскую тест-сессию Екатеринбурга. На этот раз 38 тестировщиков 5 часов искали баги в новом мобильном приложении. Игорь Борисихин, специалист по тестированию и организатор мероприятия, поделился опытом, рассказал что нового для тест-сессии придумал Контур и как попасть на мероприятие в этом году.




Что такое тест-сессия


Тест-сессия — это соревнование для начинающих и продвинутых тестировщиков и людей неравнодушных к тестированию, аналог мастер-класса или воркшопа у разработчиков. На тест-сессии можно познакомиться с коллегами из других компаний, проверить на «прочность» новый для себя продукт, выяснить, кто лучше умеет находить баги. Сессии тестирования — традиционное мероприятие для Екатеринбурга. Какой была прошлая четвертая общегородская тест-сессии можно узнать в сообществе тестировщиков Екатеринбурга — UTC.


О формате


Классический формат тест-сессии предполагает тестирование веб-сервиса. У участника есть аналитика по продукту. Есть N часов на поиск багов. В конце жюри считают, кто сколько багов нашел. Лучшим — призы. К классическому формату тест-сессии Контур добавил:


Мобильное приложение.
Продуктом для тестирования было мобильное приложение Контур.Конференция для проведения внешних и внутренних конференций. Подробнее о приложении Контур.Конференция можно почитать в маркетах: Google Play, App Store. Вот как оно работает:



MindMap вместо аналитики.
Мы не стали грузить участников тоннами скучной аналитики по приложению, вместо этого у каждой команды была мэпка с особенностями его работы и свободное поле для исследования. Для мэпки использовали программу XMind.


Обучение.
По формату тест-сессии в процессе поиска багов участники изучали новые методики и техники тестирования мобильных приложений. Подробнее о пунктах 2 и 3 чуть дальше.


Об участниках


На тест-сессию собрались 38 тестировщиков из разных компаний Екатеринбурга: iRidium mobile, Ridero, Motorsport.com, Уральские Авиалинии, Точка, Адванта, Мерката, Экстрим про, Студия Флаг, BD Cube, ITM Холдинг, Digital Spectr, SkyDNS, Naumen и Контур.




Тестирование на основе опыта


Вместо того чтобы грузить тестировщиков аналитикой, мы предложили другой способ знакомства с приложением — тестирование на основе опыта.


Тестирование на основе опыта — эвристический эксплоринг в открытом многомерном пространстве. Если проще — исследуй приложение и делай выводы правильно или нет оно работает. Каждый участник тест-сессии уже бывал на конференциях, поэтому предметная область приложения ему знакома.


В основе тестирования на основе опыта лежат три методики:


  1. Угадывание ошибок — предположить ошибку и проверить, что её нет в приложении.
  2. Тестирование на основе чек-листа — придумать верхнеуровневые проверки для приложения, а конкретные тест-кейсы генерировать и проверять во время тестирования.
  3. Исследовательское тестирование — сравнение ожидаемого и полученного результата поведения приложения на основе собственного опыта.

Но не все участники тест-сессии имели опыт тестирования мобильных приложений.
Чтобы подсказывать направления исследования новичкам, поделиться опытом и специфическими кейсами с бывалыми тестировщиками, в течение тест-сессии мы рассказывали участникам об эвристиках мобильного тестирования.


Эвристики мобильного тестирования — это совокупность исследовательских методов, способствующих открытию ранее неизвестного.




О парном тестировании


На сессии участники тестировали в парах. Было составлено 19 команд. Объединяли команды и балансировали их по следующим критериям:


Опыт в тестировании.
Новичкам комфортнее с новичками. Опытному с опытным. Если новичок работает в паре с очень опытным и матерым тестером, в большинстве случаев, опытный доминирует и не дает раскрыться идеям начинающего коллеги. Если стаж участников более 4 лет, например, 5 и 10 лет, то можно смело объединять их в 1 команду.


Опыт в тестировании мобильных приложений.
Тест-сессия открытое мероприятие для тестировщиков с любой специализацией, поэтому хорошо, если в одну команду попадают тестировщики, занимающиеся не только мобильным тестированием.


Девайсы.
На тест-сессию люди приходили со своими гаджетами. Старались, чтобы устройства в команде были и iOS и Android.


Разнообразие общения.
Мы за общение! Коллеги из одной компании не могут быть в одной команде.


Парное тестирование помогает сосредоточиться на задаче, помогает тестировщику сохранять движение, пока другой делает перерыв. Пара поощряет каждого тестировщика объяснять и реализовывать идеи. Когда тестировщик объясняет свои мысли другому, то сам процесс формулирования порождает новые идеи и кейсы. Парное тестирование — отличный способ прокачать навыки коммуникации и научиться эффективно взаимодействовать с коллегой. Для кого-то это был первый опыт тестирования в парах, для кого-то — нет. Надеемся, что участники захотят применить такой метод в своей работе.


О багтрекере


Системой для багтрекинга был традиционный для Контура Youtrack. Многие тестировщики первый раз работали с Youtrack, поэтому мы подготовили короткую видеоинструкцию о том, как работать с системой и как заводить баги.




О системе оценки багов


По плану побеждали 5 команд, набравшие большее количество баллов. Приведем пример системы оценки.


В багтрекере можно было создать две сущности.
Task — предложения по улучшению работы системы. Таски оценивались в 1 балл.
Bug — дефект в продукте. У багов был разный приоритет: crash, major, minor.


К багам с приоритетом crash относились бесконечная загрузка, зависание, потеря данных (не сохраняются введенные или отредактированные данные), блокирование основных функций девайса. Такие баги оценивались в 20 баллов.


К major относились нерабочие кнопки или ссылки, не редактируемые поля, неожиданный результат выполнения, съехавшая верстка (мешающая работе), нарушение безопасности данных. Такие баги оценивались в 10 баллов.


К minor относились опечатки, съехавшая верстка (не мешающая работе), некорректная анимация, не информативные подсказки, нестабильно воспроизводящаяся проблема. Такие баги оценивались в 5 баллов.




О сленге


Участники получили особенности сленга для грамотных багрепортов в мобильных приложениях. Небольшой пример:


Тап — краткое прикосновение к сенсорному экрану с последующим отстранением.
Дабл-тап — два коротких прикосновения пальцем, сродни дабл-клику.
Тач — прикосновение длиннее, чем Тап.
Тач-энд-холд — прикоснуться и держать. Прикосновение длиннее, чем Тач.
Свайп (Слайд) — продолжительное скольжение пальцем по экрану.
Тост — всплывающее сообщение на поверхности окна приложения.
Тогл — переключатель состояния.
Тайтл — заголовок название экрана.
Стейт — состояние, ориентация устройства (портретная или ландшафтная).


Теперь вы тоже вспомнили, чем тап отличается от свайпа, тогл от тоста, а тайтл от стейта.


О призах


По итогам тест-сессии мы выбирали 5 команд победителей, набравших наибольшее количество баллов. Контур часто проводит соревнования по спортивному программированию, поэтому мы выбрали проверенную схему и вручать призы как на ACM ICPC. На общем столе с призами команда, набравшая большее количество баллов, первая выбирает призы, вторая по баллам команда — выбирает вторая и т.д.




Кто лучше всех тестирует


Пока жюри подводило итоги, участники могли пообщаться с коллегами, перекусить пиццей, посетить экскурсию по офису или провести время в гейм-зоне: поиграть в телефонный дарт, 100 к 1 для тестировщиков, приставки, кикер.




Всего участники сделали 446 репортов, из которых 349 с типом bug и 97 — task.




Жюри приняло 278 и отклонило 140 репортов. Отклоняли непонятно описанные, невоспроизводимые или повторяющиеся в рамках одной команды баги.




Из принятых репортов 215 оказались багами. Из них 118 багов имеют приоритет minor, 80 — major и 17 — crash.




Подчеркну, что это статистика по всем командам. В 215 репортах много повторяющихся между командами или девайсозависимых багов. Поэтому число уникальных задач, которые перекочевали в багтрекер команды, разрабатывающей приложение, составило 23.


Все фото с тест-сессии можно посмотреть здесь.


TestHackathonChallenge


Мы попробовали новую для себя тему. И сделали тест-сессию по мобильным приложениям. Ребятам понравилось, значит продолжим и в 2018 году, но добавим новизны. Следующая тест-сессия пройдет в конце года, анонс появится в нашем блоге — не пропустите!

Tags:
Hubs:
+9
Comments 0
Comments Leave a comment

Articles

Information

Website
tech.kontur.ru
Registered
Founded
Employees
5,001–10,000 employees
Location
Россия