p_alexey Jul 22 2016 at 15:07

Как настроить расширяемую систему для регрессионного тестирования на телефонах: опыт мобильной Почты Mail.Ru

10 min

19K

VK corporate blogIT systems testing*Development for Android*Mobile applications testing*

+51

Comments 26

UFO just landed and posted this here

yeah_boss Jul 22 2016 at 15:56

У нас есть видео:

UFO just landed and posted this here

n_demitsuri Jul 25 2016 at 12:12

Почему на всех телефонах заклеены фронтальные камеры (если это они)?

p_alexey Aug 23 2016 at 12:12

Просто наклейки с нумерацией устройств, камеры нам нужны рабочие.

Columbiec Jul 22 2016 at 15:39

> на телефоне стоит версия Андроида, максимально близкая к стоковой
Скажите, почему этот критерий для вас оказался важен? Сталкивался с багами, которые воспроизводились только, например, на самсунгах с TouchWiz

p_alexey Jul 22 2016 at 15:54

Да, многие любят вносить в андроид изменения. У нас тоже есть различные устройства самых популярных производителей, просто основная масса телефонов у нас всё-таки на стоке. Совсем широкий спектр моделей для автотестов выделить не получается — если какой-то элемент интерфейса используется в автотесте — это означает, что на него нужен свой код. Тесты, в которых мы перемещаемся только по своему приложению — пожалуйста, работают на любом телефоне. Если есть время и ресурс на реализацию автотестов на разных кастомизациях андроида — это здорово, можно брать разные телефоны.

doctornkz Jul 22 2016 at 16:35

Отличная статья, спасибо! Расскажите как вы измеряете энергопотребление, а именно ток с батарейки? С точки зрения регрессии это важная метрика. Или вы измеряете ее косвенно?

p_alexey Jul 22 2016 at 16:57

Насчет точного измерения не скажу, но при прогоне можно банально собирать batterystats (и отображать в отчетах, как здесь), большую проблему точно не пропустите.

Direvius Jul 22 2016 at 17:11

Спасибо большое за статью!
А на чем у вас базируются сами тесты? Appium или что-то еще пробовали?
Не сталкивались ли с тем, что через USB хаб тесты работают нестабильно, а телефоны периодически отваливаются?

p_alexey Jul 22 2016 at 17:28

Robotium, UiAutomator (1,2), Espresso.

У нас телефоны в свое время отваливались по многим причинам. Вы пробовали выяснить в чем проблема? У вас может умирать adb, могут сами девайсы «плохо» себя вести, может «плохо» себя вести usb. Как минимум, в статье я описываю как запустить контейнер, в каждом контейнере свой инстанс adb, так что если проблема в нем, то будет проще ее локализовать и все телефоны сразу не отвалятся. На тему ошибок usb — попробуйте почитать системные логи (/var/log/syslog/, dmesg, etc), там обязательно что-то будет. Если проблема в телефоне — пишите во время теста непрерывно logcat, поможет разобраться.

Direvius Jul 22 2016 at 17:32

У меня даже один телефон воткнутый в комп через USB хаб (недешевый, кстати) отваливается периодически — это выглядит, как будто телефон вытащили и воткнули обратно. ADB, естественно, при этом отваливается. Напрямую в комп тот же телефон работает нормально. Контейнеры мы тоже будем использовать, я вот буквально на этой неделе собирал похожий на ваш контейнер =)

p_alexey Jul 22 2016 at 17:42

Если сразу возвращается — похоже на power saving для портов. А без хаба повторяется?

Direvius Jul 22 2016 at 17:48

Без хаба все ок. Power saving можно как-то продиагностировать по логам?

p_alexey Jul 22 2016 at 17:57

В логах не видел, можно его просто отключить через udev ATTR{power/control} или любой другой power management в системе, независимо от OS. Ну и, в конце концов, шнур подергать можно или хаб другой попробовать :) У нас был плохой провод, если его кто-то касался — девайс тоже реконнектился, долго проблему искали.

xapienz Jul 24 2016 at 10:46

Если телефон периодически отваливается, то может быть проблема в кабеле. У меня такое иногда возникает на новых длинных проводах от самсунга. Попробуйте подключить более короткий и более толстый кабель и посмотреть, будет ли проблема повторяться.

polar11beer Jul 22 2016 at 17:19

А как хост рулит телефонами? Нужен какой-то специальный софт? А какой?

Direvius Jul 22 2016 at 17:28

Я пробовал Appium и либу для питона.

p_alexey Jul 22 2016 at 17:30

Ну конкретно в статье я предлагаю в контейнер поставить агента системы интеграции (jenkins, bamboo), он и должен рулить. Если у вас мало тестов и только один хост — можно просто написать скрипт, который будет тесты на телефонах запускать, тогда никакого дополнительного софта не понадобится.

polar11beer Jul 22 2016 at 18:30

Appium, jenkins, bamboo – это, так понимаю, для хоста. А на телефон что-то нужно устанавливать?

Direvius Jul 22 2016 at 18:40

Appium сам зальет на телефон агента.

polar11beer Jul 25 2016 at 09:57

Спасибо, надо попробовать.

Indexator Jul 22 2016 at 22:53

Спасибо за хорошую статью!

Псевдослучайный MAC-адрес у Wi-Fi-модуля после перезагрузки телефона.

Кто-нибудь может объяснить, зачем так делать? Есть у меня один такой девайс, прям бесит! }:C

vm03 Jul 23 2016 at 11:48

У большинства современных смартфонов MAC адреса Wi-Fi и BT хранятся в отдельном разделе флеш-памяти(eMMC). У разных производителей, даже на одном SOC методы хранения (раздел, формат) отличаются. Адреса читаются либо при инициализации HAL, либо инит скриптами. В случае ошибки при чтении, в большенстве реализаций генирируется псевдослучайный MAC, что бы Wi-Fi и BT могли работать. Поэтому вариантов почему адреса случайные два:
1. Програмные ошибки в реализации чтения MAC адресов.
2. Адресов нет, там где должны быть. Не записали на заводе или затерли при перепрошивках.

bazilxp Jul 25 2016 at 09:02

Бедой с мак адресами например страдают дешевые USB ethernet карты.
у меня по 3$ штуки, пришлось мак адреса менять в rc.local :) UDEV не понравилось начал находить после перезагрузки как новые карты поправил конфиги все тип топ=)

bolk Jul 25 2016 at 07:26

Возможно это защита. Я помню как-то Эпл широко рекламировала, что при рассылке широковещательных пакетов они начали использовать случайные МАК-адреса. Может и тут из той же оперы.