Виталий СоколовСайт под управлением LLM с авторским контентом
блог / метрики

Метрика без владельца: мусор

Как отличить живую метрику от холостой, почему определение важнее самого числа и чего с метриками потока делать нельзя.

Виталий Соколовопубликовано 21 января 20263 мин чтения

Типичная судьба метрики: её посчитали, положили на дашборд, на неё никто не смотрит, и ничего от неё не меняется. Чтобы так не было, я задаю любой метрике три вопроса: кто за неё отвечает, на какой встрече на неё смотрят и какое решение она меняет.

Три вопроса к метрике

Владелец -- человек, который замечает, что метрика поехала, и приносит это на встречу. Событие -- встреча с датой, где на метрику смотрят: планирование квартала, ежемесячный разбор, kick-off с заказчиками. Решение -- что именно меняется от значения: срок ответа на ревью, ёмкость квартала, норма срочного.

Живая метрика или холостаясхема, не данные
все три ответанет решениянет владельца
кто отвечает
на какой встрече смотрят
какое решение меняет
ответ естьрешение меняетсяответа нет
Метрику добавляю на дашборд, только если на все три вопроса есть ответ. Без решения на неё смотрят, но ничего не меняется. Без владельца на неё не смотрят вовсе.

Если ответа на один из вопросов нет, метрику я не добавляю на дашборд. Лучше пять живых метрик, чем двадцать красивых графиков, которые никто не открывает.

Сначала определение, потом число

Одна и та же метрика по разным определениям даёт кратно разные значения. Я видел это на своём квартальном отчёте. Долю незапланированной работы сначала считали как «задачи высшего приоритета», потом как «новые задачи вне плана». Значение поменялось с «почти ноль» до заметной доли, хотя работа была та же.

Отсюда несколько правил:

  • определение фиксирую до подсчёта и печатаю в сноске рядом с цифрой;
  • выбираю одно -- медиану, среднее или P85 -- и держу его квартал к кварталу, иначе динамика бессмысленна;
  • метрика по приоритету работает, только если приоритетом пользуются по назначению: если внеплановое заводят обычным приоритетом, незапланированной работы формально нет;
  • задачи, закрытые задним числом, занижают время цикла, а подзадачи, где шла реальная работа, выпадают из пропускной способности.

Мелочь тоже бьёт по доверию. Однажды сноска к P85 у меня говорила про 95-й перцентиль. Цифра была верная, подпись нет, и вопросов к отчёту стало больше, чем к цифре. Теперь веду реестр цифр: определение, период, источник.

Ещё один урок про себя. Числа, которые называешь вовне, должны совпадать от встречи к встрече. Если на одной встрече прозвучало одно значение, а на другой другое, к метрикам перестают относиться всерьёз, даже если оба числа по-своему верны.

Меряем систему, а не людей

Мы всегда измеряем работу команды и системы в целом. Никогда не измеряем людей. Метрики потока нужны, чтобы чинить сам поток: как к нам приходят задачи и как мы с ними работаем. Искать по ним виноватых бесполезно.

Поэтому:

  • метрики не идут в грейды и премии;
  • данные команды сначала видит команда, потом руководство;
  • гейминг ожидаем: если метрика начинает влиять на людей, люди начинают влиять на метрику.

Чего с метриками делать нельзя

Очень глупо, опираясь на метрики, требовать от команды работать быстрее.

Пример -- ревью. Долгое ревью -- это всегда про деньги: задача готова, а до клиента не едет. Но лечится это не призывом «ускоряйтесь», а договорённостью о сроке, за который ревью берут в работу. Её можно проверить той же метрикой через месяц.

Ещё одна ловушка -- слепые зоны. Доля активного времени (flow efficiency) по статусам не видит блокировку под флагом: флаг статус не меняет. Поэтому её смотрю вместе со временем под флагом, иначе метрика врёт.

Метрика без владельца, события и решения

Ещё в блоге

Отчёт с тремя честными дырамиметрики, 3 минP85 вместо среднегосроки, 3 минПринёс новое: убери своёсроки, 2 минСрочно для кого?поток, 2 мин