Pull to refresh

Comments 8

Внутренняя конфигурация и установка софта/настроек и запуск тестов у вас происходит автоматически скриптом или каждый раз вручную?

Возможно не совсем понял вопрос.

Настройка ВМ + софта вручную, это же тестовый доступ, там нет возможности свой образ подгружать.
Старт тестов - вручную, сами тесты автоматически

Адская работа руками :)

Перенастроенный образ не обязателен, в системе запустить сценарий, а он уже все сконфигурирует, установит, настроит, запустит тесты и выгрузит результаты в условный гуглодок.

Так будет быстрее (можно несколько раз повторить процесс что бы убедиться что тест не имеет случайных результатов), будет точная воспроизводимость последовательности выполнения настройки системы и выполнения теста, ну и точное понимание что никакие настройки не забыты и были протыканы.

В продакте да, согласен

Это можно сделать, тогда надо понимать степень углубления, например - надо ли переустанавливать софт весь или достаточно заново базы развернуть?

В тестировании все с нуля или мы получаем потенциально нерепрезентативное тестирование. Кэши ОС (тот же префетч) или СУБД сервера могут сильно ускорить работу переустановленного приложения или перезалитой базы. С теми же СУБД нужно понимать, что непрогретые кэши СУБД дадут унылый результат, в то время как в проде такое событие весьма редко.

Поэтому методика тестирования очень важна, в ней описываются все зависимости и нюансы, затем она превращается в код деплоя. Деплой прогоняется n-ное количество раз и анализируются результаты насколько они коррелируют с реальностью и насколько они похожи друг на друга. Если есть ощутимые отклонения от реальных ожиданий с продом, то нужно опять поработать над методикой тестирования.

А потом вжух и ты уже девопс =)

Вот как будет в тесте Гилева хотя бы 30 попугаев так можно и в облака, а пока это только игрушки "на потестировать" и для реальной работы не пригодны

Тест Гилева это просто скорость железа, он к нагрузке под пользователями имеет посредственное отношение.

Сервер может вполне держать полсотни пользователей и иметь 15 попугаев

Например телефон ксяоми  выдает 40+ по этому тесту, вы свои базы перенесете на него?

Sign up to leave a comment.

Articles