Анна Кербель -- Risk driven testing
-
Upload
sqadays8 -
Category
Technology
-
view
687 -
download
0
Transcript of Анна Кербель -- Risk driven testing
![Page 2: Анна Кербель -- Risk driven testing](https://reader036.fdocuments.in/reader036/viewer/2022062419/557ad631d8b42a85648b45a8/html5/thumbnails/2.jpg)
Не хватает времени?
Нужно найти важные ошибки как можно быстрее?
Нужен критерий эффективности тест кейсов или тестовых сценариев?
![Page 3: Анна Кербель -- Risk driven testing](https://reader036.fdocuments.in/reader036/viewer/2022062419/557ad631d8b42a85648b45a8/html5/thumbnails/3.jpg)
Помните! Есть всего 1 час!
Не бьются?
Влагоустойчивые?
Подзаводятся?
Протестируем часы
![Page 4: Анна Кербель -- Risk driven testing](https://reader036.fdocuments.in/reader036/viewer/2022062419/557ad631d8b42a85648b45a8/html5/thumbnails/4.jpg)
ОпределенияРиск – это возможное событие, влекущее за собой
материальные или иные затраты.
Подверженность Рискам (Risk Exposure) – оценка возможности фейла конкретной функциональности.
Тестирование – основная защита от рисков.
Risk Driven Testing – метод, при котором в первую очередь и/или более подробно тестируются те части функционала, которые более подвержены рискам.
![Page 5: Анна Кербель -- Risk driven testing](https://reader036.fdocuments.in/reader036/viewer/2022062419/557ad631d8b42a85648b45a8/html5/thumbnails/5.jpg)
Основные действия :• определить риски отдельных
функциональных частей;
• создать список функциональных частей, распределенных по подверженности рискам;
• написать тест кейсы;
• проходить максимальный набор тест кейсов за отведенное время.
![Page 6: Анна Кербель -- Risk driven testing](https://reader036.fdocuments.in/reader036/viewer/2022062419/557ad631d8b42a85648b45a8/html5/thumbnails/6.jpg)
Источники рисков:
• Продукт (реализована неправильная логика, ошибки);
• Проект (плохой процесс, сложность проекта);
• Пользователи (могут использовать продукт «неправильно»);
![Page 7: Анна Кербель -- Risk driven testing](https://reader036.fdocuments.in/reader036/viewer/2022062419/557ad631d8b42a85648b45a8/html5/thumbnails/7.jpg)
Кто несёт потери?
• Заказчик (потеря денег, потеря своего сегмента рынка );
• Разработчик (затраты ресурсов и времени на исправление проблем, затраты на поддержку продукта);
![Page 8: Анна Кербель -- Risk driven testing](https://reader036.fdocuments.in/reader036/viewer/2022062419/557ad631d8b42a85648b45a8/html5/thumbnails/8.jpg)
Вероятность возникновения проблемы?
Оценка вероятность фейла по:
• сложности функциональности,
• опытности команды разработчиков,
• опыту предыдущих релизов,
• зная, был ли рефакторинг кода.
• ?
![Page 9: Анна Кербель -- Risk driven testing](https://reader036.fdocuments.in/reader036/viewer/2022062419/557ad631d8b42a85648b45a8/html5/thumbnails/9.jpg)
Вероятность использования функциональности?
Задача
Система создаёт отчёты. Отчёт критично необходим аналитику раз в неделю.
Вероятность использования отчета: ?
![Page 10: Анна Кербель -- Risk driven testing](https://reader036.fdocuments.in/reader036/viewer/2022062419/557ad631d8b42a85648b45a8/html5/thumbnails/10.jpg)
Кладовщик и товар
Какова вероятность использования списка товаров?
Куда мог деться весь
товар?
![Page 11: Анна Кербель -- Risk driven testing](https://reader036.fdocuments.in/reader036/viewer/2022062419/557ad631d8b42a85648b45a8/html5/thumbnails/11.jpg)
Risk Exposure:
– подверженность риску (risk exposure) функциональности F;
– вероятность использования F;
– вероятность фейла F;
– цена/последствия фейла функциональности F (на продакшн);
![Page 12: Анна Кербель -- Risk driven testing](https://reader036.fdocuments.in/reader036/viewer/2022062419/557ad631d8b42a85648b45a8/html5/thumbnails/12.jpg)
Курьерская службаСистема со справочником медицинских
препаратов.
Справочник используется при 1/3 заказов.
Нерабочий справочник – служба теряет заказ – 500т.р.
Неверно работает – служба выплатит неустойку – 1 млн. р.
Раз в месяц справочник проверяет фармацевт. Время фармацевта – 5 т.р.
![Page 13: Анна Кербель -- Risk driven testing](https://reader036.fdocuments.in/reader036/viewer/2022062419/557ad631d8b42a85648b45a8/html5/thumbnails/13.jpg)
Полнаяподверженность риску:
• недоступность справочника – вероятность 10%
• неверная работа – вероятность 20%.
Полная подверженность риску : 83401,5
![Page 14: Анна Кербель -- Risk driven testing](https://reader036.fdocuments.in/reader036/viewer/2022062419/557ad631d8b42a85648b45a8/html5/thumbnails/14.jpg)
Стоимость потерь
Стоимость можно разделить на два типа:
– потери заказчика;
– потери разработчика продукта;
![Page 15: Анна Кербель -- Risk driven testing](https://reader036.fdocuments.in/reader036/viewer/2022062419/557ad631d8b42a85648b45a8/html5/thumbnails/15.jpg)
Risk Driven подход:
• оцениваются потери каждого тест кейса;
• оценивается вероятность риска для каждого тест кейса;
• рассчитывается Risk Exposure каждого тест кейса;
![Page 16: Анна Кербель -- Risk driven testing](https://reader036.fdocuments.in/reader036/viewer/2022062419/557ad631d8b42a85648b45a8/html5/thumbnails/16.jpg)
• оцениваются потери каждого тест кейса;
• оценивается вероятность риска для каждого тест кейса;
• рассчитывается Risk Exposure каждого тест кейса;
• из тест кейсов составляются тестовые сценарии ориентированные на бизнес-процесс заказчика;
Risk Driven подход:
![Page 17: Анна Кербель -- Risk driven testing](https://reader036.fdocuments.in/reader036/viewer/2022062419/557ad631d8b42a85648b45a8/html5/thumbnails/17.jpg)
• оцениваются потери каждого тест кейса;
• оценивается вероятность риска для каждого кейса;
• рассчитывается Risk Exposure каждого тест кейса;
• из тест кейсов составляются тестовые сценарии ориентированные на бизнес-процесс заказчика;
• оценивается Risk Exposure для каждого тестового сценария;
Risk Driven подход:
![Page 18: Анна Кербель -- Risk driven testing](https://reader036.fdocuments.in/reader036/viewer/2022062419/557ad631d8b42a85648b45a8/html5/thumbnails/18.jpg)
оцениваются потери каждого тест кейса;
• оценивается вероятность риска для каждого кейса;
• рассчитывается Risk Exposure каждого тест кейса;
• из тест кейсов составляются тестовые сценарии ориентированные на бизнес-процесс заказчика;
• оценивается Risk Exposure каждого тестового сценария;
• выбираются сценарии с наибольшей подверженностью рискам;
Risk Driven подход:
![Page 19: Анна Кербель -- Risk driven testing](https://reader036.fdocuments.in/reader036/viewer/2022062419/557ad631d8b42a85648b45a8/html5/thumbnails/19.jpg)
Потери тест кейса
• по шкале от 1 до 10 (самые малые – самые большие);
• веса одинаковые;
![Page 20: Анна Кербель -- Risk driven testing](https://reader036.fdocuments.in/reader036/viewer/2022062419/557ad631d8b42a85648b45a8/html5/thumbnails/20.jpg)
Подверженность риску тест кейса
• подсчитать количество найденных багов и средний показатель Severity багов;
• вероятность фейла – произведение количества багов на средний Severity;
• нормализовать вероятности фейла.
![Page 21: Анна Кербель -- Risk driven testing](https://reader036.fdocuments.in/reader036/viewer/2022062419/557ad631d8b42a85648b45a8/html5/thumbnails/21.jpg)
Тестовые сценарии:
• должны моделировать обычное использование системы пользователем;
• должны быть направлены на бизнес-процессы заказчика;
• набор тестовых сценариев должен включать в себя весь набор тест кейсов;
![Page 22: Анна Кербель -- Risk driven testing](https://reader036.fdocuments.in/reader036/viewer/2022062419/557ad631d8b42a85648b45a8/html5/thumbnails/22.jpg)
Risk Exposure тестового сценария
![Page 23: Анна Кербель -- Risk driven testing](https://reader036.fdocuments.in/reader036/viewer/2022062419/557ad631d8b42a85648b45a8/html5/thumbnails/23.jpg)
Выбор тестовых сценариевTraceability Matrix
тест кейсов и сценариев
Выбираем тестовый сценарий
Вычеркиваем лишнееиз Traceability Matrix
Есть время?
Завершение
Рассчитываем Risk Exposure
![Page 24: Анна Кербель -- Risk driven testing](https://reader036.fdocuments.in/reader036/viewer/2022062419/557ad631d8b42a85648b45a8/html5/thumbnails/24.jpg)
Смешная система
Существует система отображения анекдотов.
Как только приходит анекдот, срабатывает оповещение.
Пользователь может прочитать анекдот и оценить.
Появилась новая функциональность – пользователь может отправить свой анекдот.
![Page 25: Анна Кербель -- Risk driven testing](https://reader036.fdocuments.in/reader036/viewer/2022062419/557ad631d8b42a85648b45a8/html5/thumbnails/25.jpg)
Основные сценарии:оповещение
отображение анекдотаоценка анекдота закрытие
оповещениеотображение анекдота
закрытие
![Page 26: Анна Кербель -- Risk driven testing](https://reader036.fdocuments.in/reader036/viewer/2022062419/557ad631d8b42a85648b45a8/html5/thumbnails/26.jpg)
оповещениезакрытие
создание анекдотазакрытие
отправка
Основные сценарии:
идея
![Page 27: Анна Кербель -- Risk driven testing](https://reader036.fdocuments.in/reader036/viewer/2022062419/557ad631d8b42a85648b45a8/html5/thumbnails/27.jpg)
Traceability Matrix
TS1 TS2 TS3 TS4
1 1
1 1 1
1
1 1 1 1
1
1
![Page 28: Анна Кербель -- Risk driven testing](https://reader036.fdocuments.in/reader036/viewer/2022062419/557ad631d8b42a85648b45a8/html5/thumbnails/28.jpg)
Risk Exposure тест кейсов
10 0,02 0,2
8 0,2 1,6
5 0,3 1,5
3 0,1 0,3
5 0,5 2,5
5 1 5
![Page 29: Анна Кербель -- Risk driven testing](https://reader036.fdocuments.in/reader036/viewer/2022062419/557ad631d8b42a85648b45a8/html5/thumbnails/29.jpg)
Risk Exposure сценариев
Scenarios
TS1 3,6
TS2 2,1
TS3 1,8
TS4 7,8
![Page 30: Анна Кербель -- Risk driven testing](https://reader036.fdocuments.in/reader036/viewer/2022062419/557ad631d8b42a85648b45a8/html5/thumbnails/30.jpg)
Вычеркивание пройденного
TS1 TS2 TS3 TS4
1 1
1 1 1
1
1 1 1 1
1
1
![Page 31: Анна Кербель -- Risk driven testing](https://reader036.fdocuments.in/reader036/viewer/2022062419/557ad631d8b42a85648b45a8/html5/thumbnails/31.jpg)
Risk Exposure сценариев
Scenarios
TS1 3,3
TS2 1,8
TS3 1,6
![Page 32: Анна Кербель -- Risk driven testing](https://reader036.fdocuments.in/reader036/viewer/2022062419/557ad631d8b42a85648b45a8/html5/thumbnails/32.jpg)
Почему Risk Driven тестирование?
• Тестирование мотивировано рисками. Мы ищем высокоприоритетные баги.
• Тестировщики постоянно используют Risk Driven тестирование, но в динамическом режиме, основываясь на субъективных оценках. Сделаем оценку объективной.
• Нет ограничений для использования.
• При Risk Driven подходе используются только непосредственные вычисления => можно автоматизировать.