Чем агент отличается от чата
В чате модель отвечает текстом, и дальше решает человек. Агент получает цель и крутит цикл: запрос к модели, выбор инструмента, вызов, результат обратно в контекст, следующий шаг. Инструменты бывают любые: чтение файлов, запуск тестов, поиск в вебе, команды в терминале.
Почему он уходит не туда
Каждая итерация опирается на предыдущую, поэтому ошибка на третьем шаге тянется до двадцатого. Типичные сценарии отладки:
- Агент неверно понял цель и уверенно доводит до конца чужую задачу.
- Инструмент вернул пустой результат, а модель приняла это за подтверждение.
- История вызовов забила контекстное окно, и начало инструкции выпало из виду.
- Цикл замкнулся: одна и та же команда с одной и той же ошибкой десять раз подряд.
Что помогает
Короткие задачи с проверяемым результатом, жёсткий лимит числа шагов, логи каждого вызова инструмента и отдельный бюджет токенов на запуск. Агент, который достаёт документацию через RAG вместо того чтобы держать её в промпте целиком, дешевле в эксплуатации и реже теряет нить.
Слово "агент" в маркетинге растянуто до любого сценария с моделью внутри. Перед сравнением инструментов полезно спросить, есть ли там цикл с инструментами и кто останавливает выполнение.