Мобильный EMAIL-маркетинг в электронной коммерции-заблуждения и реальность.
Automation for-non-automation - Автоматизация для...
-
Upload
andrey-ladutko -
Category
Engineering
-
view
28 -
download
3
Transcript of Automation for-non-automation - Автоматизация для...
![Page 1: Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелки и реальность](https://reader035.fdocuments.in/reader035/viewer/2022062523/5a647fd47f8b9a52568b4941/html5/thumbnails/1.jpg)
Автоматизация для не-автоматизаторов:
Хотелки и реальность
Андрей Ладутько
Ноябрь 5, 2016
![Page 2: Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелки и реальность](https://reader035.fdocuments.in/reader035/viewer/2022062523/5a647fd47f8b9a52568b4941/html5/thumbnails/2.jpg)
АНДРЕЙ ЛАДУТЬКО
Минск, Беларусь
Тест-лид, Эксперт ЦКТ
8+ лет опыта
Процессы, аудиты, тест-дизайн, личная эффективность
SQA Days-12-20 – докладчик и куратор
ISTQB Full Advanced Level
[email protected], [email protected]
ladutko_andrey
sof_minsk
http://qastugama.blogspot.comp://qastugama.blog
spot.com
![Page 3: Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелки и реальность](https://reader035.fdocuments.in/reader035/viewer/2022062523/5a647fd47f8b9a52568b4941/html5/thumbnails/3.jpg)
3CONFIDENTIAL
О ЧЕМ ПОГОВОРИМ
•Почему я здесь
•Плюсы и минусы автоматизации
•Обходим минусы
•Вывод
•Ваши вопросы
![Page 4: Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелки и реальность](https://reader035.fdocuments.in/reader035/viewer/2022062523/5a647fd47f8b9a52568b4941/html5/thumbnails/4.jpg)
4CONFIDENTIAL
ЗАКАЗЧИКИ ЛЮБЯТ АВТОМАТИЗИРОВАННОЕ ТЕСТИРОВАНИЕ
http://www.istqb.org/documents/ISTQB_Worldwide_Software_Testing_Practices_Report.pdf
![Page 5: Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелки и реальность](https://reader035.fdocuments.in/reader035/viewer/2022062523/5a647fd47f8b9a52568b4941/html5/thumbnails/5.jpg)
5CONFIDENTIAL
АВТОМАТИЗАЦИЯ И ПРОЦЕССЫ ТЕСТИРОВАНИЯ
![Page 6: Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелки и реальность](https://reader035.fdocuments.in/reader035/viewer/2022062523/5a647fd47f8b9a52568b4941/html5/thumbnails/6.jpg)
6CONFIDENTIAL
ПЛЮСЫ АВТОМАТИЗАЦИИ
1. Заказчики любят автоматизацию
2. Автоматизацию легко продавать
3. Автоматизация - тренд
4. CI невозможна без АТ
5. АТ ускоряет релиз
6. АТ минимизирует влияние человеческого фактора
7. Экономит деньги?
![Page 7: Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелки и реальность](https://reader035.fdocuments.in/reader035/viewer/2022062523/5a647fd47f8b9a52568b4941/html5/thumbnails/7.jpg)
7CONFIDENTIAL
… И МИНУСЫ
1. Дорого
2. Находит мало дефектов
3. Много времени на сопровождение
4. Нужны опытные специалисты
5. АТ нестабильны
6. Может потребовать много времени для запуска
![Page 8: Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелки и реальность](https://reader035.fdocuments.in/reader035/viewer/2022062523/5a647fd47f8b9a52568b4941/html5/thumbnails/8.jpg)
8CONFIDENTIAL
1. АВТОМАТИЗАЦИЯ ДОРОГАЯ
![Page 9: Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелки и реальность](https://reader035.fdocuments.in/reader035/viewer/2022062523/5a647fd47f8b9a52568b4941/html5/thumbnails/9.jpg)
9CONFIDENTIAL
ТРЕУГОЛЬНИК КАЧЕСТВА
Time
Costs
Quality
Visibility
Automation
![Page 10: Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелки и реальность](https://reader035.fdocuments.in/reader035/viewer/2022062523/5a647fd47f8b9a52568b4941/html5/thumbnails/10.jpg)
10CONFIDENTIAL
ОЖИДАНИЯ ЗАКАЗЧИКА ОТ АВТОМАТИЗАЦИИ
Деньги(экономия на
ручном
тестировании)
Улучшить
Качество
Время(ускорить релиз)
![Page 11: Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелки и реальность](https://reader035.fdocuments.in/reader035/viewer/2022062523/5a647fd47f8b9a52568b4941/html5/thumbnails/11.jpg)
11CONFIDENTIAL
ЗАКАЗЧИК ХОЧЕТ СЭКОНОМИТЬ
1. Посчитать ROI (чем чаще релизы – тем
эффективнее автоматизация)
2. Подумать о других способах сэкономить
деньги (например, не тестировать области
с малым риском)
3. Обсудить эти пункты с заказчиком перед
началом автоматизации
Деньги(экономия на
ручном
тестировании)
![Page 12: Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелки и реальность](https://reader035.fdocuments.in/reader035/viewer/2022062523/5a647fd47f8b9a52568b4941/html5/thumbnails/12.jpg)
12CONFIDENTIAL
ЗАКАЗЧИК ХОЧЕТ УСКОРИТЬ РЕЛИЗЫ
1. Определите желаемую частоту релизов
2. Внедрите CI
3. Увеличьте объем API и юнит-тестов вместо
UI-тестов
4. Увеличьте скорость запуска тестов
(параллель)
5. Подумайте о стабилизации тестов
(инструмент, фреймворк, взаимодействие
с разработчиками чтобы подготовить UI для
автоматизации)
Время(ускорить релиз)
![Page 13: Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелки и реальность](https://reader035.fdocuments.in/reader035/viewer/2022062523/5a647fd47f8b9a52568b4941/html5/thumbnails/13.jpg)
13CONFIDENTIAL
ПИРАМИДА АВТОМАТИЗАЦИИ
В идеале* Заказчик хочет
![Page 14: Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелки и реальность](https://reader035.fdocuments.in/reader035/viewer/2022062523/5a647fd47f8b9a52568b4941/html5/thumbnails/14.jpg)
14CONFIDENTIAL
КУДА РАСХОДУЕТСЯ БЮДЖЕТ
http://www.istqb.org/documents/ISTQB_Worldwide_Software_Testing_Practices_Report.pdf
![Page 15: Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелки и реальность](https://reader035.fdocuments.in/reader035/viewer/2022062523/5a647fd47f8b9a52568b4941/html5/thumbnails/15.jpg)
15CONFIDENTIAL
• Юнит-тесты всегда красные – процесс не работает
• Юнит тесты всегда зеленые – есть вероятность, что они ничего не
проверяют. Как проверить?
МОДУЛЬНОЕ ТЕСТИРОВАНИЕ. КАК ПРОВЕРИТЬ?
![Page 16: Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелки и реальность](https://reader035.fdocuments.in/reader035/viewer/2022062523/5a647fd47f8b9a52568b4941/html5/thumbnails/16.jpg)
16CONFIDENTIAL
МУТАЦИОННОЕ ТЕСТИРОВАНИЕ
Test suites are measured by the percentage of mutants that they kill.
Execute SAME test
Mutant killed
Execute SAME test
Mutant survived
![Page 17: Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелки и реальность](https://reader035.fdocuments.in/reader035/viewer/2022062523/5a647fd47f8b9a52568b4941/html5/thumbnails/17.jpg)
17CONFIDENTIAL
ЮНИТ VS МУТАЦИОННОЕ ТЕСТИРОВАНИЕ
Industry Target Value:
>85% for mutation testing coverage
Mutation coverage =# 𝑜𝑓 𝑚𝑢𝑡𝑎𝑡𝑖𝑜𝑛𝑠 𝑘𝑖𝑙𝑙𝑒𝑑
# 𝑜𝑓 𝑎𝑙𝑙 𝑚𝑢𝑡𝑎𝑡𝑖𝑜𝑛𝑠
![Page 18: Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелки и реальность](https://reader035.fdocuments.in/reader035/viewer/2022062523/5a647fd47f8b9a52568b4941/html5/thumbnails/18.jpg)
18CONFIDENTIAL
ЗАКАЗЧИК ХОЧЕТ УЛУЧШИТЬ КАЧЕСТВО
1. Тщательно подумайте, может ли
автоматизация улучшить качество
2. Посчитайте метрики, проведите аудит
проекта
3. Разработайте улучшения
Улучшить
Качество
![Page 19: Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелки и реальность](https://reader035.fdocuments.in/reader035/viewer/2022062523/5a647fd47f8b9a52568b4941/html5/thumbnails/19.jpg)
19CONFIDENTIAL
2. АВТОМАТИЗАЦИЯ НАХОДИТ МАЛО ДЕФЕКТОВ
![Page 20: Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелки и реальность](https://reader035.fdocuments.in/reader035/viewer/2022062523/5a647fd47f8b9a52568b4941/html5/thumbnails/20.jpg)
20CONFIDENTIAL
1. Заносите в багтрекер и отмечайте все дефекты, найденные автоматизацией (more visibility)
2. Проанализируйте области, выделите те, в которых автоматизация принесет наибольший эффект
3. Посмотрите перекрытия в тестах по уровням, нет ли избыточности
4. Посчитайте на % невалидных дефектов, переоткрытых дефектов, которые заводит автоматизация,
проанализируйте причины их возникновения
Метрики и измерения в помощь:
• % покрытия АТ (тесты с высоким приоритетом)
• Частота регрессии
• # дефектов на АТ
• Время разработки АТ
СОВЕТЫ
![Page 21: Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелки и реальность](https://reader035.fdocuments.in/reader035/viewer/2022062523/5a647fd47f8b9a52568b4941/html5/thumbnails/21.jpg)
21CONFIDENTIAL
3. АТ ТРЕБУЕТ МНОГО ВРЕМЕНИ НА СОПРОВОЖДЕНИЕ
![Page 22: Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелки и реальность](https://reader035.fdocuments.in/reader035/viewer/2022062523/5a647fd47f8b9a52568b4941/html5/thumbnails/22.jpg)
22CONFIDENTIAL
1. Используйте инструменты для ускорения анализа результатов АТ (Allure, EPAM RP и т.д.):
нестабильные тесты, тесты по открытым дефектам, визуализация результатов запуска АТ
2. Проанализируйте, есть ли необходимость запускать все тесты: какие можно исключить, и/или
запускать реже
3. Разбейте тесты по группам и уровням (приоритеты + модули)
4. Подумайте о низкоуровневой автоматизации (Unit, API)
Метрики и измерения в помощь:
• Сколько времени уходит на анализ автотестов
• % тестов, поддающихся автоматизации
• Стабильность АТ
• % времени необходимого на сопровождение АТ
• # дефектов на 1 запуск автотеста
СОВЕТЫ
![Page 23: Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелки и реальность](https://reader035.fdocuments.in/reader035/viewer/2022062523/5a647fd47f8b9a52568b4941/html5/thumbnails/23.jpg)
23CONFIDENTIAL
goal
ВЫВОД
![Page 24: Automation for-non-automation - Автоматизация для не-автоматизаторов - хотелки и реальность](https://reader035.fdocuments.in/reader035/viewer/2022062523/5a647fd47f8b9a52568b4941/html5/thumbnails/24.jpg)
24CONFIDENTIAL
[email protected], [email protected]
ladutko_andrey
sof_minsk
http://qastugama.blogspot.com
СПАСИБО!