Внедрение автоматизации тестирования в highload проекте с...
description
Transcript of Внедрение автоматизации тестирования в highload проекте с...
![Page 1: Внедрение автоматизации тестирования в highload проекте с непрерывной выкладкой](https://reader036.fdocuments.in/reader036/viewer/2022062308/558bcb39d8b42aab638b461d/html5/thumbnails/1.jpg)
Тестирование на 50 миллионов
Никита Гавриш
Руководитель QA
topface.com1
![Page 2: Внедрение автоматизации тестирования в highload проекте с непрерывной выкладкой](https://reader036.fdocuments.in/reader036/viewer/2022062308/558bcb39d8b42aab638b461d/html5/thumbnails/2.jpg)
2
С высоты птичьего полета
![Page 3: Внедрение автоматизации тестирования в highload проекте с непрерывной выкладкой](https://reader036.fdocuments.in/reader036/viewer/2022062308/558bcb39d8b42aab638b461d/html5/thumbnails/3.jpg)
3
Topface• Более 50 миллионов пользователей
• Более 60 000 уникумов
• Сложная клиентская логика.
• Непрерывная выкладка
• Непрерывная доступность
![Page 4: Внедрение автоматизации тестирования в highload проекте с непрерывной выкладкой](https://reader036.fdocuments.in/reader036/viewer/2022062308/558bcb39d8b42aab638b461d/html5/thumbnails/4.jpg)
4
Проблемы• Отсутствие документации
• Большое количество платформ и языков
• Частые изменения функционала
• Таргетирование. Разный функционал для разных пользователей
• Тестовая среда
• Зачем писать тесты – потеря времени.
![Page 5: Внедрение автоматизации тестирования в highload проекте с непрерывной выкладкой](https://reader036.fdocuments.in/reader036/viewer/2022062308/558bcb39d8b42aab638b461d/html5/thumbnails/5.jpg)
5
Первый вариант решения:
Кофеин!!!
![Page 6: Внедрение автоматизации тестирования в highload проекте с непрерывной выкладкой](https://reader036.fdocuments.in/reader036/viewer/2022062308/558bcb39d8b42aab638b461d/html5/thumbnails/6.jpg)
6
Процессы и приоритеты
![Page 7: Внедрение автоматизации тестирования в highload проекте с непрерывной выкладкой](https://reader036.fdocuments.in/reader036/viewer/2022062308/558bcb39d8b42aab638b461d/html5/thumbnails/7.jpg)
7
Процесс
• Прозрачный воркфлоу. • Новые статусы задач• Очередь задач на тестирование
• Требования к ТЗ
• Чек-листы для каждой задачи - наглядный результат
• Эстимейт на тестирование в задаче
В разработке Отдана на тестирование
Тестируется Готово Выложена
![Page 8: Внедрение автоматизации тестирования в highload проекте с непрерывной выкладкой](https://reader036.fdocuments.in/reader036/viewer/2022062308/558bcb39d8b42aab638b461d/html5/thumbnails/8.jpg)
8
Приоритеты
• Больше приоритетов
• Контроль высоких приоритетов
• Сведение давления к минимуму
• Прозрачные сроки начала выполнения
• Прозрачный порядок выполнения
![Page 9: Внедрение автоматизации тестирования в highload проекте с непрерывной выкладкой](https://reader036.fdocuments.in/reader036/viewer/2022062308/558bcb39d8b42aab638b461d/html5/thumbnails/9.jpg)
9
Появление автоматизации
![Page 10: Внедрение автоматизации тестирования в highload проекте с непрерывной выкладкой](https://reader036.fdocuments.in/reader036/viewer/2022062308/558bcb39d8b42aab638b461d/html5/thumbnails/10.jpg)
10
Свой фреймворк
JSON-Репорты
команды
данные
![Page 11: Внедрение автоматизации тестирования в highload проекте с непрерывной выкладкой](https://reader036.fdocuments.in/reader036/viewer/2022062308/558bcb39d8b42aab638b461d/html5/thumbnails/11.jpg)
11
Сбор репортов
Starter
…
…
Report HandlerSettings
TestSuite
TestSuite
TestCase
TestCase
![Page 12: Внедрение автоматизации тестирования в highload проекте с непрерывной выкладкой](https://reader036.fdocuments.in/reader036/viewer/2022062308/558bcb39d8b42aab638b461d/html5/thumbnails/12.jpg)
12
Запуск> python automation.py parallel=1 target_url=http://topface.com browser=firefox > testsuite=login_test,marks_test,messages_test
![Page 13: Внедрение автоматизации тестирования в highload проекте с непрерывной выкладкой](https://reader036.fdocuments.in/reader036/viewer/2022062308/558bcb39d8b42aab638b461d/html5/thumbnails/13.jpg)
13
Непрерывная выливка
![Page 14: Внедрение автоматизации тестирования в highload проекте с непрерывной выкладкой](https://reader036.fdocuments.in/reader036/viewer/2022062308/558bcb39d8b42aab638b461d/html5/thumbnails/14.jpg)
14
• Требования к скорости выполнения
• Наглядность результатов
• Быстрое принятие решения (выливать\не выливать)
• Постоянная 100% актуальность тестов
Особенности
![Page 15: Внедрение автоматизации тестирования в highload проекте с непрерывной выкладкой](https://reader036.fdocuments.in/reader036/viewer/2022062308/558bcb39d8b42aab638b461d/html5/thumbnails/15.jpg)
15
Знать где искать
![Page 16: Внедрение автоматизации тестирования в highload проекте с непрерывной выкладкой](https://reader036.fdocuments.in/reader036/viewer/2022062308/558bcb39d8b42aab638b461d/html5/thumbnails/16.jpg)
16
• Баги не распределены равномерно
• Любят возвращаться
• Любят пересечение функционала
• Opera, IE
• Не ходят по одиночке
Где живут баги
![Page 17: Внедрение автоматизации тестирования в highload проекте с непрерывной выкладкой](https://reader036.fdocuments.in/reader036/viewer/2022062308/558bcb39d8b42aab638b461d/html5/thumbnails/17.jpg)
17
Не тратьтесь на мелочи
![Page 18: Внедрение автоматизации тестирования в highload проекте с непрерывной выкладкой](https://reader036.fdocuments.in/reader036/viewer/2022062308/558bcb39d8b42aab638b461d/html5/thumbnails/18.jpg)
18
• Никак
• 1/3 функционала всегда новая
• Автоматизировать только критичное и постоянное
• Быть в курсе.
• Nightly builds по всему функционалу
• Smoke-тесты быстро и по верхам перед выливкой
Как все покрыть
![Page 19: Внедрение автоматизации тестирования в highload проекте с непрерывной выкладкой](https://reader036.fdocuments.in/reader036/viewer/2022062308/558bcb39d8b42aab638b461d/html5/thumbnails/19.jpg)
19
Расслабьтесь
![Page 20: Внедрение автоматизации тестирования в highload проекте с непрерывной выкладкой](https://reader036.fdocuments.in/reader036/viewer/2022062308/558bcb39d8b42aab638b461d/html5/thumbnails/20.jpg)
20
• Процессы налажены
• Приоритеты расставлены
• Автоматизация работает
• Не все покрыто, но мы не расстраиваемся по мелочам
• Постоянно поддерживаем тесты
• Повышаем наглядность репортов и скорость smoke-ов
• Планируем API- и Security- тесты
Жизнь удалась
![Page 21: Внедрение автоматизации тестирования в highload проекте с непрерывной выкладкой](https://reader036.fdocuments.in/reader036/viewer/2022062308/558bcb39d8b42aab638b461d/html5/thumbnails/21.jpg)
21
Спасибо за внимание
Никита Гавриш
http://vk.com/mafia239
http://www.facebook.com/ngavris
Skype: shirvag