Метрика без владельца: мусор
Как отличить живую метрику от холостой, почему определение важнее самого числа и чего с метриками потока делать нельзя.
Типичная судьба метрики: её посчитали, положили на дашборд, на неё никто не смотрит, и ничего от неё не меняется. Чтобы так не было, я задаю любой метрике три вопроса: кто за неё отвечает, на какой встрече на неё смотрят и какое решение она меняет.
Три вопроса к метрике
Владелец -- человек, который замечает, что метрика поехала, и приносит это на встречу. Событие -- встреча с датой, где на метрику смотрят: планирование квартала, ежемесячный разбор, kick-off с заказчиками. Решение -- что именно меняется от значения: срок ответа на ревью, ёмкость квартала, норма срочного.
Если ответа на один из вопросов нет, метрику я не добавляю на дашборд. Лучше пять живых метрик, чем двадцать красивых графиков, которые никто не открывает.
Сначала определение, потом число
Одна и та же метрика по разным определениям даёт кратно разные значения. Я видел это на своём квартальном отчёте. Долю незапланированной работы сначала считали как «задачи высшего приоритета», потом как «новые задачи вне плана». Значение поменялось с «почти ноль» до заметной доли, хотя работа была та же.
Отсюда несколько правил:
- определение фиксирую до подсчёта и печатаю в сноске рядом с цифрой;
- выбираю одно -- медиану, среднее или P85 -- и держу его квартал к кварталу, иначе динамика бессмысленна;
- метрика по приоритету работает, только если приоритетом пользуются по назначению: если внеплановое заводят обычным приоритетом, незапланированной работы формально нет;
- задачи, закрытые задним числом, занижают время цикла, а подзадачи, где шла реальная работа, выпадают из пропускной способности.
Мелочь тоже бьёт по доверию. Однажды сноска к P85 у меня говорила про 95-й перцентиль. Цифра была верная, подпись нет, и вопросов к отчёту стало больше, чем к цифре. Теперь веду реестр цифр: определение, период, источник.
Ещё один урок про себя. Числа, которые называешь вовне, должны совпадать от встречи к встрече. Если на одной встрече прозвучало одно значение, а на другой другое, к метрикам перестают относиться всерьёз, даже если оба числа по-своему верны.
Меряем систему, а не людей
Мы всегда измеряем работу команды и системы в целом. Никогда не измеряем людей. Метрики потока нужны, чтобы чинить сам поток: как к нам приходят задачи и как мы с ними работаем. Искать по ним виноватых бесполезно.
Поэтому:
- метрики не идут в грейды и премии;
- данные команды сначала видит команда, потом руководство;
- гейминг ожидаем: если метрика начинает влиять на людей, люди начинают влиять на метрику.
Чего с метриками делать нельзя
Очень глупо, опираясь на метрики, требовать от команды работать быстрее.
Пример -- ревью. Долгое ревью -- это всегда про деньги: задача готова, а до клиента не едет. Но лечится это не призывом «ускоряйтесь», а договорённостью о сроке, за который ревью берут в работу. Её можно проверить той же метрикой через месяц.
Ещё одна ловушка -- слепые зоны. Доля активного времени (flow efficiency) по статусам не видит блокировку под флагом: флаг статус не меняет. Поэтому её смотрю вместе со временем под флагом, иначе метрика врёт.
Метрика без владельца, события и решения