Без ТЗ результат ХЗ
Мои правила постановки задачи для модели, почему мегапромпт работает хуже нескольких агентов и чем опасна спецификация, которую за аналитика написал ассистент.
Модель -- толковый новый сотрудник без контекста. Всё, что не сказано, она додумает сама, и додумает по-своему. Чем больше информации даёшь сразу и чем точнее описываешь задачу на входе, тем лучше результат.
Промпт как постановка
Хороший промпт выглядит как хорошая задача в трекере. У него есть цель, границы, входные данные и формат результата. Мои правила:
- данные отдельно от инструкций;
- ограниченный скоуп: одна задача за раз;
- явный формат ответа;
- позитивные формулировки: что делать, а не чего не делать;
- описывать, что нужно получить, без указаний, как думать;
- разрешить ответ «не знаю»;
- опираться только на переданные документы.
И два анти-паттерна. Запрет без границы: «не пиши много» -- а сколько можно? И усилители вроде капслока и «ОЧЕНЬ ВАЖНО», которые не добавляют модели ни одного факта.
Мегапромпт хуже нескольких агентов
Частая ошибка -- мегапромпт, в который зашита вся обработка.
С несколькими агентами контекстом можно управлять: каждому передаю только то, что нужно для его роли. Один агент извлекает, другой проверяет, третий пишет. У каждого своя роль и свой короткий контекст.
Промпт для такого агента удобно писать тоже моделью. Одна модель пишет промпт для другой, потом две модели по кругу проверяют его друг за другом. Это метапромптинг.
Спецификация без аналитика
Условный пример. Аналитик под давлением сроков отдаёт в разработку спецификацию, которую целиком сгенерировал ассистент. На ревью разработчик находит поля, потерявшиеся между экранами, и обязанности бэкенда, приписанные фронтенду. Контракт между фронтом и бэком нарушен, а читать такую спецификацию разработчик не может.
Если взять её в работу, ошибка выстрелит сразу и может стоить денег. Поэтому ИИ-черновик спецификации всегда проходит ревью аналитика и обсуждение «трёх амиго». Аналитик отвечает за результат: ищет места, где модель ошиблась, и обсуждает их с людьми.
Документы для людей и агентов
Документация в репозитории -- первоисточник и для людей, и для агентов. Правила храню файлом: его можно версионировать, и его прочитает любой новый агент.
И последнее правило: метрики, которые посчитал ИИ, перепроверяю.
Без ТЗ результат ХЗ