Performance Tester's Professional Roadmap
Transcript of Performance Tester's Professional Roadmap
![Page 1: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/1.jpg)
UA Testing Days, Одесса, 18 августа 2012 года
Инженер по нагрузочному тестированиюАндрей Похилько
Профессиональный Roadmap нагрузочного тестировщика
![Page 2: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/2.jpg)
Профессиональный Roadmap?
• Почему мы говорим об этом?
• Что это такое?
• Зачем он тестировщику?
• Зачем он менеджеру?
2
![Page 3: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/3.jpg)
Откуда мы приходимв нагрузочное тестирование
• Функциональщики
• Админы
• Разработчики
• Случайные люди
3
![Page 4: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/4.jpg)
Уровни мастерства
4
![Page 5: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/5.jpg)
Уровни мастерстваНачинающий
5
![Page 6: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/6.jpg)
Уровни мастерстваПродолжающий
6
![Page 7: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/7.jpg)
Уровни мастерстваПродвинутый
7
![Page 8: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/8.jpg)
Уровни мастерстваЭксперт
8
![Page 9: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/9.jpg)
Области компетенции
9
![Page 10: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/10.jpg)
Области компетенцииTестируемый сервис
• Бизнес-область
• Администрирование
• Инфраструктура
• Программная архитектура
10
![Page 11: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/11.jpg)
Тестируемый сервисБизнес-область
• Кто и зачем пользуется
• Суточный профиль, ЧНН
• Мониторинг эксплуатации
• Бизнес-приоритеты и планы
11
![Page 12: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/12.jpg)
Следим за метриками эксплуатации
![Page 13: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/13.jpg)
Тестируемый сервисАдминистрирование
• Запускать и останавливать
• Читать логи
• Крутить настройки
• Развертывать с нуля
13
![Page 14: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/14.jpg)
Тестируемый сервисИнфраструктура
• Структура кластера
• Конфигурация оборудования
• Протоколы обмена по сети
• Топология сети и балансировка
14
![Page 15: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/15.jpg)
Тестируемый сервисПрограммная архитектура
• Перечень подсистем
• Компоненты в подсистемах
• Внутренняя архитектура
• Исходный код
15
![Page 16: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/16.jpg)
![Page 17: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/17.jpg)
Области компетенцииTехнологии
• Операционные системы
• Сети
• Программирование
• Базы данных и хранилища
17
![Page 18: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/18.jpg)
ТехнологииОперационные системы
• Настольные и серверные
• Администрирование
• Мультизадачность
• Метрики
18
Тебе Ubuntu или MacOS, Нео?
![Page 19: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/19.jpg)
ТехнологииСети
• Сетевое оборудование
• Протоколы
• Статусы и флаги TCP
• Маршрутизация и настройка
19
Это свитч или хаб?
![Page 20: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/20.jpg)
ТехнологииПрограммирование
• Веб-технология
• Скрипты
• Структура приложений
• Многопоточность
20
![Page 21: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/21.jpg)
ТехнологииБазы данных и хранилища
• SQL-базы
• Key-value хранилища
• Писать запросы
• Оптимизировать
21
![Page 22: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/22.jpg)
Области компетенцииМетодики и подходы
22
• Работа с SLA
• Модели нагрузки
• Локализация проблем
![Page 23: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/23.jpg)
Методики и подходыРабота с SLA
• Пользоваться готовым SLA
• Самому формулировать
23
![Page 24: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/24.jpg)
Методики и подходыМодели нагрузки
24
http://bit.ly/I1zVWm
![Page 25: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/25.jpg)
Методики и подходыЛокализация проблем
• Понятие о bottleneck-ресурсе
• CPU / RAM / Disk
• Недоконфигурирование
• Блокировки и переключения
25
Вот тебе bottleneck!
![Page 26: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/26.jpg)
Области компетенцииИнструментарий
26
• Генераторы нагрузки
• Средства мониторинга
• Построение и хранение отчетов
• Средства автоматизации
• Средства отладки
![Page 27: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/27.jpg)
ИнструментарийГенераторы нагрузки
• Сценарные и hit-based
• Параметризация
• Не-HTTP протоколы
• Нестандартные протоколы
27
![Page 28: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/28.jpg)
ИнструментарийМониторинг
• Диспетчер задач / top
• perfmon.msc / dstat
• Интегрирован с генератором
• Нестандартные метрики
28
![Page 29: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/29.jpg)
ИнструментарийОтчеты
• Excel и скрипты
• Встроенные в генератор
• Интерактивные
• Хранилище отчетов
29
Успеть бы до утра...
![Page 30: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/30.jpg)
ИнструментарийСредства автоматизации
• shell-скрипты
• Шедулеры
• ant / msbuild
• CI-подобные системы
30
![Page 31: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/31.jpg)
ИнструментарийСредства хардкора отладки
31
![Page 32: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/32.jpg)
Области компетенцииАнализ результатов
• Одиночный тест
• Сравнение тестов
32
![Page 33: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/33.jpg)
Анализ результатовОдиночный тест
33
![Page 34: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/34.jpg)
Анализ результатовСравнение тестов
• По кумулятивному среднему
• По распределениям времен
• Разрезы по группам
• Регрессионный анализ
34
![Page 35: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/35.jpg)
Области компетенцииЛичные качества
• Коммуникационные навыки
• Командная работа
• ?
• ?
35
![Page 36: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/36.jpg)
Личные качестваКоммуникационные навыки
• Почта и багтрекер
• Личный контакт
• Встречи и обсуждения
36
Надо себя заставить...
![Page 37: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/37.jpg)
Личные качестваКомандная работа
• Обуза
• Коллега
• Бывалый
• Лидер
37
Морфиус играет в Ил-2
![Page 38: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/38.jpg)
Матрица к обсуждению
38
http://loadosophia.org/help/matrix/
![Page 39: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/39.jpg)
Я эксперт по всем фронтам!Что дальше?
• Руководите младшими
• Пишите статьи
• Совершенствуйте инструменты
• Создайте стартап
39
![Page 40: Performance Tester's Professional Roadmap](https://reader031.fdocuments.in/reader031/viewer/2022013115/558de5a01a28abdd428b46d6/html5/thumbnails/40.jpg)
Инженер по нагрузочному тестированию, Яндекс
@jmeter_plugins
http://loadosophia.org
Андрей Похилько