Услуга · Тестирование и QA

Автоматизация тестирования

Автоматизация окупается там, где одни и те же сценарии проверяются многократно. При выпуске раз в год она не нужна. При выпуске раз в две недели ручной повторный прогон превращается в главный тормоз всего процесса.

Прогон
минуты вместо дней
Сборка
проверяется автоматически
Отбор
ключевое, а не всё
Отчёт
что упало и на каком шаге

Состав работ

Автоматизируем не всё подряд, а часто повторяемое и уже устоявшееся. Погоня за полным покрытием обходится дороже приносимой пользы.

Обсудить объём

Отбор сценариев

В первую очередь то, что критично для бизнеса и проверяется чаще всего.

Написание

Проверки делаются устойчивыми к косметическим изменениям интерфейса, иначе поддержка съест всю выгоду.

Тестовые данные

Готовятся и очищаются так, чтобы прогоны не влияли друг на друга.

Запуск при сборке

Проверки идут автоматически на каждой сборке, а не когда о них вспомнят.

Отчётность

Понятный результат с указанием шага, на котором произошло падение, и снимком экрана.

Сопровождение

Обновление проверок при изменениях продукта. Это постоянная работа, а не разовый проект.

Порядок действий

Первые проверки появляются через две-три недели, ощутимый эффект наступает, когда покрыты основные пути.

01

Расчёт

Считаем, сколько времени сегодня уходит на ручной повторный прогон. Отсюда видно, окупится ли автоматизация.

02

Основание

Инфраструктура запуска, подготовка данных, система отчётов.

03

Покрытие

Пишем проверки по очереди, начиная с того, чья поломка заметнее всего.

04

Ведение

Обновляем при изменениях и разбираемся с нестабильными проверками.

Нестабильная проверка хуже отсутствующей. Когда тест падает то и дело без реальной причины, команда перестаёт читать результаты, и вместе с шумом игнорируются настоящие поломки. Такие проверки либо чинят немедленно, либо удаляют без сожалений.

Вопросы и ответы

Нет. Автоматические проверки быстро и без устали прогоняют то, что уже описано. Обнаружить неизвестную проблему в новом сценарии способен только человек. Автоматизация убирает рутину, а не людей.

При редких выпусках, на быстро меняющемся интерфейсе и на прототипах. Если продукт перерисовывается каждый месяц, проверки придётся переписывать быстрее, чем они успеют принести пользу.

Разумного, а не максимального. Обычно хватает путей, которые приносят деньги, и мест, где ошибки уже случались. Погоня за процентом покрытия порождает проверки ради самих проверок.

Переведём проверки на автоматику

Напишите, как часто выходят версии и сколько занимает ручной прогон. Посчитаем, окупится ли автоматизация.