«Metrics and KPIs – measuring project, process, team» by Sergey Stefurak
-
Upload
diveintomanagement -
Category
Engineering
-
view
113 -
download
2
Transcript of «Metrics and KPIs – measuring project, process, team» by Sergey Stefurak
![Page 1: «Metrics and KPIs – measuring project, process, team» by Sergey Stefurak](https://reader033.fdocuments.in/reader033/viewer/2022042722/589bdfa71a28aba5108b5511/html5/thumbnails/1.jpg)
Метрики и KPI – измеряем проект, процесс, команду
Сергей Стефурак@stfods
![Page 2: «Metrics and KPIs – measuring project, process, team» by Sergey Stefurak](https://reader033.fdocuments.in/reader033/viewer/2022042722/589bdfa71a28aba5108b5511/html5/thumbnails/2.jpg)
Let’s start
• 11+ лет в SW Development
• 9 лет опыт управления в QA and Dev
• Сейчас: STL + CPE Program manager
• Я люблю числа и метрики
![Page 3: «Metrics and KPIs – measuring project, process, team» by Sergey Stefurak](https://reader033.fdocuments.in/reader033/viewer/2022042722/589bdfa71a28aba5108b5511/html5/thumbnails/3.jpg)
Метрики, показатели, измерения
• Измерения – даем качественную или количественную характеристику наблюдениям
• Метрика – функция, а показатель - результат применения метрики
• Часто называют метрикой именно результат измерений
![Page 4: «Metrics and KPIs – measuring project, process, team» by Sergey Stefurak](https://reader033.fdocuments.in/reader033/viewer/2022042722/589bdfa71a28aba5108b5511/html5/thumbnails/4.jpg)
Метрики, показатели, измерения
![Page 5: «Metrics and KPIs – measuring project, process, team» by Sergey Stefurak](https://reader033.fdocuments.in/reader033/viewer/2022042722/589bdfa71a28aba5108b5511/html5/thumbnails/5.jpg)
Зачем нужны метрики?
• Вопросы для менеджера:
• Какой статус в твоем подразделении / с твоим проектом?
• Откуда ты это знаешь?
• Улучшается ли ситуация?
• Откуда ты это знаешь?
![Page 6: «Metrics and KPIs – measuring project, process, team» by Sergey Stefurak](https://reader033.fdocuments.in/reader033/viewer/2022042722/589bdfa71a28aba5108b5511/html5/thumbnails/6.jpg)
Управление через измерение и улучшение
• Measurement is the first step that leads to control and eventually to improvement. If you can’t measure something, you can’t understand it. If you can’t understand it, you can’t control it. If you can’t control it, you can’t improve it.
- H. James Harrington
• You cannot control what you cannot measure - Tom DeMarco
![Page 7: «Metrics and KPIs – measuring project, process, team» by Sergey Stefurak](https://reader033.fdocuments.in/reader033/viewer/2022042722/589bdfa71a28aba5108b5511/html5/thumbnails/7.jpg)
Зачем нужны метрики?
•Не можешь измерить – не можешь управлять
(На самом деле, не всегда, но часто в нашей индустрии)
![Page 8: «Metrics and KPIs – measuring project, process, team» by Sergey Stefurak](https://reader033.fdocuments.in/reader033/viewer/2022042722/589bdfa71a28aba5108b5511/html5/thumbnails/8.jpg)
Метрики и их виды
Метрики могут быть полезны, но
• Как выбрать метрики?
• Могут ли метрики вредить?
![Page 9: «Metrics and KPIs – measuring project, process, team» by Sergey Stefurak](https://reader033.fdocuments.in/reader033/viewer/2022042722/589bdfa71a28aba5108b5511/html5/thumbnails/9.jpg)
Выбор метрик: некоторые примеры
• Для гибкой разработки
• Качество, код, релиз критерии, …
• Индивидуальные метрики
![Page 10: «Metrics and KPIs – measuring project, process, team» by Sergey Stefurak](https://reader033.fdocuments.in/reader033/viewer/2022042722/589bdfa71a28aba5108b5511/html5/thumbnails/10.jpg)
Sprint Burndown
Помогает отследить• Оценки завышены, занижены• «ступеньки»• Изменения scope
![Page 11: «Metrics and KPIs – measuring project, process, team» by Sergey Stefurak](https://reader033.fdocuments.in/reader033/viewer/2022042722/589bdfa71a28aba5108b5511/html5/thumbnails/11.jpg)
Epic/Release/version Burndown
Помогает отследить• Прогнозы релиза не обновляются по мере
работы• Прогресс в итерации не делается• Scope растет быстрее чем команда способна
его выполнять
![Page 12: «Metrics and KPIs – measuring project, process, team» by Sergey Stefurak](https://reader033.fdocuments.in/reader033/viewer/2022042722/589bdfa71a28aba5108b5511/html5/thumbnails/12.jpg)
Velocity
Помогает отследить• Проблемы с эстимированием• Стабильность команды• Внешние факторы, влияющие на работу команды
![Page 13: «Metrics and KPIs – measuring project, process, team» by Sergey Stefurak](https://reader033.fdocuments.in/reader033/viewer/2022042722/589bdfa71a28aba5108b5511/html5/thumbnails/13.jpg)
Cycle Time
Помогает отследить• Скорость с которой команда может реагировать на
изменения приоритетов
![Page 14: «Metrics and KPIs – measuring project, process, team» by Sergey Stefurak](https://reader033.fdocuments.in/reader033/viewer/2022042722/589bdfa71a28aba5108b5511/html5/thumbnails/14.jpg)
Cumulative Flow Diagram
Помогает отследить• Проблемы на отдельных этапах
![Page 15: «Metrics and KPIs – measuring project, process, team» by Sergey Stefurak](https://reader033.fdocuments.in/reader033/viewer/2022042722/589bdfa71a28aba5108b5511/html5/thumbnails/15.jpg)
Метрики для кода
• Наиболее применимо к новым проектам• Удобно собирать их автоматически• SonarQube
• Покрытие тестами (line, branch)• Документированность • Копи-паст дривен девелопмент• Цикломатическая сложность• Замечания
![Page 16: «Metrics and KPIs – measuring project, process, team» by Sergey Stefurak](https://reader033.fdocuments.in/reader033/viewer/2022042722/589bdfa71a28aba5108b5511/html5/thumbnails/16.jpg)
Метрики для качества
• Сколько найдено дефектов (и каких)• Регрессии?• В процессе разработки• После релиза сотрудниками организации?• После релиза кастомерами?
• ADR• Релиз критерии
• Напр: Count(секьюрити + регрессии + High/Urgent) = 0
![Page 17: «Metrics and KPIs – measuring project, process, team» by Sergey Stefurak](https://reader033.fdocuments.in/reader033/viewer/2022042722/589bdfa71a28aba5108b5511/html5/thumbnails/17.jpg)
Почему бы не ввести оплату по метрикам?
• Частый вопрос
![Page 18: «Metrics and KPIs – measuring project, process, team» by Sergey Stefurak](https://reader033.fdocuments.in/reader033/viewer/2022042722/589bdfa71a28aba5108b5511/html5/thumbnails/18.jpg)
Метрики для незнакомой индустрии
![Page 19: «Metrics and KPIs – measuring project, process, team» by Sergey Stefurak](https://reader033.fdocuments.in/reader033/viewer/2022042722/589bdfa71a28aba5108b5511/html5/thumbnails/19.jpg)
Джек-пот
• Lines of code• Bugs fixed• Среднее время телефонного звонка
![Page 20: «Metrics and KPIs – measuring project, process, team» by Sergey Stefurak](https://reader033.fdocuments.in/reader033/viewer/2022042722/589bdfa71a28aba5108b5511/html5/thumbnails/20.jpg)
Метрики для оплаты
• Применимы тем хуже, чем сложнее задачи и выше квалификация
• Подменяют внутреннюю мотивацию внешней • Могут работать на уровне команды для
распределения бонусов• Подвержены всем проблемам метрик и KPI
![Page 21: «Metrics and KPIs – measuring project, process, team» by Sergey Stefurak](https://reader033.fdocuments.in/reader033/viewer/2022042722/589bdfa71a28aba5108b5511/html5/thumbnails/21.jpg)
Введем понятие KPI• Key Performance Indicator
• Любой KPI– Метрика, но не наоборот!
• KPI нужны для трансляции стратегии топ-менеджмента
• Определяются Line of Business owner / VP / C* -executives
![Page 22: «Metrics and KPIs – measuring project, process, team» by Sergey Stefurak](https://reader033.fdocuments.in/reader033/viewer/2022042722/589bdfa71a28aba5108b5511/html5/thumbnails/22.jpg)
KPI vs метрики
• Свойства KPI• Отражает цели организации
• Определяется менеджментом (идет сверху)
• KPI обладает контекстом
• KPI имеет значение на каждом уровне организации
• Базируется на реальных данных
• Легок к пониманию
• Мотивирует к действию
• Многие предпочитают SMART- критерий
![Page 23: «Metrics and KPIs – measuring project, process, team» by Sergey Stefurak](https://reader033.fdocuments.in/reader033/viewer/2022042722/589bdfa71a28aba5108b5511/html5/thumbnails/23.jpg)
KPI – примеры – SaaS стартап
• Посетители в месяц• Новые и утраченные подписки в месяц • Конверсия• MRR, CAC, ARPA
![Page 24: «Metrics and KPIs – measuring project, process, team» by Sergey Stefurak](https://reader033.fdocuments.in/reader033/viewer/2022042722/589bdfa71a28aba5108b5511/html5/thumbnails/24.jpg)
KPI – enterprise
Реальный пример KPI для enterprise • Демонстрировал, как определенный выбор
KPI приводит не к тем изменениям в поведении команд и департаментов, которые ожидались
• Пример организационной дисфункции
Сами KPI, которые демонстрировались на докладе, в slideshare версии отсутствуют по политике конфиденциальности
![Page 25: «Metrics and KPIs – measuring project, process, team» by Sergey Stefurak](https://reader033.fdocuments.in/reader033/viewer/2022042722/589bdfa71a28aba5108b5511/html5/thumbnails/25.jpg)
KPI – enterprise - развитие
• KPI спускается на уровень групп и команд
• Менеджеры добавляют метрики специфичные для своих подразделений
• Цели для отдельных инженеров становятся частью PE
Пример KPI для enterprise – как изменились KPI с прошлого слайда после нескольких лет для того чтобы избежать негативных последствий в поведении
Сами KPI, которые демонстрировались на докладе, в slideshare версии отсутствуют по политике конфиденциальности
![Page 26: «Metrics and KPIs – measuring project, process, team» by Sergey Stefurak](https://reader033.fdocuments.in/reader033/viewer/2022042722/589bdfa71a28aba5108b5511/html5/thumbnails/26.jpg)
KPI / метрики - опасности
• Подмена понятий
• Манипуляции и игры
• Метрика меняет систему; организационная дисфункция
• Потеря фокуса
![Page 27: «Metrics and KPIs – measuring project, process, team» by Sergey Stefurak](https://reader033.fdocuments.in/reader033/viewer/2022042722/589bdfa71a28aba5108b5511/html5/thumbnails/27.jpg)
Если вы вводите метрики
• Определитесь с вашими проблемами и целями
• Выберите метрики
• Оптимизируйте стоимость и полезность
• Продумайте их фальсифицируемость
• Уберите лишние метрики
![Page 28: «Metrics and KPIs – measuring project, process, team» by Sergey Stefurak](https://reader033.fdocuments.in/reader033/viewer/2022042722/589bdfa71a28aba5108b5511/html5/thumbnails/28.jpg)
Если меряют вас
• Считаете ли вы метрики хорошими?• Если да, то вам повезло
• Можете ли вы их изменить?
• Если нет, ищите слабые места (игры)
• Защищайте команду от плохих метрик
![Page 29: «Metrics and KPIs – measuring project, process, team» by Sergey Stefurak](https://reader033.fdocuments.in/reader033/viewer/2022042722/589bdfa71a28aba5108b5511/html5/thumbnails/29.jpg)
Questions?
Sergey Stefurak@stfods
![Page 30: «Metrics and KPIs – measuring project, process, team» by Sergey Stefurak](https://reader033.fdocuments.in/reader033/viewer/2022042722/589bdfa71a28aba5108b5511/html5/thumbnails/30.jpg)
Thank you!