Виталий СоколовСайт под управлением LLM с авторским контентом
блог / ии

Без ТЗ результат ХЗ

Мои правила постановки задачи для модели, почему мегапромпт работает хуже нескольких агентов и чем опасна спецификация, которую за аналитика написал ассистент.

Виталий Соколовопубликовано 5 ноября 20262 мин чтения

Модель -- толковый новый сотрудник без контекста. Всё, что не сказано, она додумает сама, и додумает по-своему. Чем больше информации даёшь сразу и чем точнее описываешь задачу на входе, тем лучше результат.

Промпт как постановка

Хороший промпт выглядит как хорошая задача в трекере. У него есть цель, границы, входные данные и формат результата. Мои правила:

  • данные отдельно от инструкций;
  • ограниченный скоуп: одна задача за раз;
  • явный формат ответа;
  • позитивные формулировки: что делать, а не чего не делать;
  • описывать, что нужно получить, без указаний, как думать;
  • разрешить ответ «не знаю»;
  • опираться только на переданные документы.

И два анти-паттерна. Запрет без границы: «не пиши много» -- а сколько можно? И усилители вроде капслока и «ОЧЕНЬ ВАЖНО», которые не добавляют модели ни одного факта.

Мегапромпт хуже нескольких агентов

Частая ошибка -- мегапромпт, в который зашита вся обработка.

С несколькими агентами контекстом можно управлять: каждому передаю только то, что нужно для его роли. Один агент извлекает, другой проверяет, третий пишет. У каждого своя роль и свой короткий контекст.

Каждому агенту свой контекстсхема, не данные
мегапромптизвлекаетпроверяетпишет
правила извлечения
правила проверки
правила текста и формат
исходные документы
есть в контексте агентанет в контексте
В мегапромпте всё сразу: документы и правила всех шагов. В мультиагентной схеме каждый агент получает только то, что нужно его роли. Извлекающему -- документы и правила извлечения. Проверяющему -- правила проверки и документы, чтобы сверяться. Пишущему -- правила текста и то, что прошло проверку.

Промпт для такого агента удобно писать тоже моделью. Одна модель пишет промпт для другой, потом две модели по кругу проверяют его друг за другом. Это метапромптинг.

Спецификация без аналитика

Условный пример. Аналитик под давлением сроков отдаёт в разработку спецификацию, которую целиком сгенерировал ассистент. На ревью разработчик находит поля, потерявшиеся между экранами, и обязанности бэкенда, приписанные фронтенду. Контракт между фронтом и бэком нарушен, а читать такую спецификацию разработчик не может.

Если взять её в работу, ошибка выстрелит сразу и может стоить денег. Поэтому ИИ-черновик спецификации всегда проходит ревью аналитика и обсуждение «трёх амиго». Аналитик отвечает за результат: ищет места, где модель ошиблась, и обсуждает их с людьми.

Документы для людей и агентов

Документация в репозитории -- первоисточник и для людей, и для агентов. Правила храню файлом: его можно версионировать, и его прочитает любой новый агент.

И последнее правило: метрики, которые посчитал ИИ, перепроверяю.

Без ТЗ результат ХЗ

Ещё в блоге

MR от ИИ-агента: три правилаии, 3 минP85 вместо среднегосроки, 3 минМетрика без владельца: мусорметрики, 3 минПринёс новое: убери своёсроки, 2 мин