Чек-лист: как создать ИИ-агента для ресёрча за семь шагов
Главное за 30 секунд
- Главная ошибка: верить отчёту агента о его собственной проверке. Приёмку запускает человек, отдельной командой.
- Критерий приёмки должен уметь провалиться. «Хорошо написано» — не критерий, «ровно пять тем» — критерий.
- Формат выхода решается до промпта, а не после. Иначе агент отдаёт стену текста.
- Число попыток и допустимый расход согласуют до запуска; стоимость проверяют на типичных задачах.
- Проверка, которая не падает на сломанном входе, не существует. Ломайте нарочно.
Агент-ресёрч ищет информацию по заданию и готовит результат в согласованном формате. Расписание, источники, сохранение истории и проверку нужно настроить отдельно. Решение об использовании результата принимает человек.
Срок настройки зависит от источников, доступов и критериев результата. Ниже семь шагов для подготовки проверяемого сценария. Они помогают выявлять ошибки, но не гарантируют достоверность любого ответа.
1. Одна задача, одно предложение
Опишите, что должно стать правдой после работы агента.
Каждое утро в файле лежат пять свежих тем с рабочей ссылкой и готовым углом подачи.
Если формулировка не помещается в предложение, это две задачи. Их надо разделить и делать двумя агентами.
2. Формат выхода решается до промпта
Определите, что именно агент вернёт, и опишите структуру заранее.
Один файл. Пять блоков. В каждом: что произошло и ссылка, угол подачи, почему это важно вашей аудитории.
Без этого шага агент отдаёт стену текста, и разбирать её приходится руками. Экономия на описании формата оборачивается ежедневной ручной работой.
3. Критерии приёмки: бинарные, три-пять штук
Каждый критерий должен уметь провалиться. «Хорошо написано» проверке не поддаётся. «Ровно пять тем» поддаётся.
- ровно пять тем;
- у каждой рабочая ссылка на первоисточник, не выдуманная;
- у каждой угол подачи, а не пересказ новости;
- у каждой строка «почему это важно»;
- ничего старше суток.
Критерий, который нельзя провалить, не существует. Он выглядит как проработка, а работает как пожелание.
4. Модель и потолок расхода
- модель берётся самая дешёвая из подходящих, дорогая — как исключение под конкретную задачу;
- одна оценка без цикла переделок: иначе агент крутится и жжёт бюджет;
- потолок числа вызовов и потолок расхода задаются числом, а не намерением.
Сравнивайте варианты на одинаковых примерах: точность источников, полноту, время и расход. Подходящая модель зависит от сложности поиска и анализа. Стоимость провайдера и доработку сценария учитывайте отдельно.
5. Запреты пишутся в промпт прямым текстом
- не выдумывать факты, цифры и ссылки;
- не выдавать старое за новое;
- ничего никуда не публиковать, только черновик в файл;
- не выходить за названные папки и адреса.
Опишите ограничения в задании и проверьте их выполнение. Доступы, разрешённые папки и публикацию нужно ограничивать средствами системы. Промпт сам по себе не обеспечивает эти границы.
6. Кто проверит результат — решается до запуска
Нужна одна команда, дающая однозначный ответ «прошло» или «не прошло». Например, поиск по файлу, который обязан ничего не найти.
Проверку запускает человек, а не агент. Слова исполнителя о собственной проверке не принимаются ни в каком виде: ни «всё в порядке», ни «найдено ноль», ни числа.
Например, проверка может охватить одну папку и пропустить ту же формулировку на сайте. Поэтому задайте точный список источников и сохраните результат независимого прогона.
Если приёмочную команду придумать не получается, задача поставлена плохо. Её надо переформулировать до запуска, а не после.
7. Живой прогон и мутация
Живой прогон — запуск на согласованном наборе примеров с проверкой результата. Для первых тестов используйте подготовленные или обезличенные данные; доступ к рабочим источникам согласуйте отдельно.
Мутация — сломать нарочно и убедиться, что проверка упала. Починить и убедиться, что прошла.
Проверка, которая не падает на сломанном входе, не существует. Она даёт спокойствие, но не даёт правды.
Три ошибки, которые стоят дороже всего
| Ошибка | Как выглядит | Чем лечится |
|---|---|---|
| Агент выдумал числа | «замерить не смог» и рядом три правдоподобные цифры | доказательство файлом, а не текстом отчёта |
| Агент проверил не всё | «найдено ноль», а на деле два десятка вхождений | точный список папок в задании и проверка отдельным скриптом |
| Проверка не умела падать | зелёный результат на заведомо сломанном коде | мутационный прогон обязателен |
Короткая версия
- Задача в одно предложение
- Формат выхода
- Бинарные критерии приёмки
- Проверенная модель, ограниченное число попыток и согласованный бюджет
- Запреты прямым текстом
- Приёмочная команда, которую запускает человек
- Живой прогон и мутация
Скачать чек-лист в PDF — две страницы, удобно распечатать и держать рядом.
Что дальше
Чек-лист не делает агента умнее. Он делает результат проверяемым, и на практике это оказывается полезнее.
Если нужен агент под конкретную задачу — поиск клиентов, разбор заявок, ежедневный обзор рынка — напишите, разберём вашу задачу и скажем, решается ли она агентом или проще обойтись без него.
KrutMaxAI™
ИИ в жизни и в работе. Разбираем агентов на живых примерах: что работает, что ломается и сколько это стоит на самом деле. Без обещаний, которые нельзя проверить.
Решения по теме
Хотите такую же автоматизацию у себя? Расскажите о задаче — ответим, что можно поручить ИИ-агентам уже сейчас.
Часто задаваемые вопросы
Зачем нужен отдельный агент для ресёрча, если можно просто спросить нейросеть?
Для повторяющейся задачи можно настроить расписание, одинаковый формат результата и проверку источников. История появляется при её сохранении в выбранной системе. Срок настройки и полезность такого сценария проверяют на ваших задачах.
Агент может выдумать данные?
Да. Агент может привести правдоподобные, но неподтверждённые факты и ссылки. Требуйте первоисточники и независимую проверку. Инструкция в промпте помогает задать задачу, но сама по себе не гарантирует достоверность результата.
Как выбрать модель для ИИ-агента исследования?
Сравните модели на одинаковых задачах: точность источников, полнота ответа, время и стоимость. Выбирайте вариант, который проходит ваши критерии в доступном бюджете. Для сложного анализа и проверки фактов требования могут отличаться от простого поиска.
Что такое критерий приёмки, который умеет провалиться?
Условие, которое можно проверить командой и получить однозначный ответ «да» или «нет». «Ровно пять тем», «у каждой рабочая ссылка», «ничего старше суток». Формулировка вроде «качественный обзор» проверке не поддаётся и потому критерием не является.