Сначала остановите текущий run и сохраните trace: входные данные шага, tool arguments, HTTP status, тело ошибки, attempt number и время. Не запускайте его ещё раз с теми же параметрами, пока не ясно, было ли внешнее действие выполнено. Таймаут после оплаты или отправки письма не доказывает, что операция не состоялась.
Зацикливание часто появляется не в одном месте. Агент повторно строит тот же план, SDK автоматически повторяет HTTP-запрос, а workflow engine повторяет весь task. По отдельности лимит равен трём, но физически сервис получает десятки вызовов. Нужен общий budget, который передаётся через уровни и уменьшается после каждой реальной попытки.
Повтор зависит от типа результата
| Сигнал | Решение | Почему |
|---|---|---|
| Timeout или 503 до подтверждения | Retry с backoff и jitter | Ошибка может быть временной |
| 429 с Retry-After | WAITING до указанного срока | Немедленный повтор усиливает лимит |
| 400 schema validation | FAILED или исправление плана | Время не сделает payload валидным |
| 401/403 | NEEDS_HUMAN или refresh по политике | Повтор тех же credentials бессмысленен |
| 202 operation pending | WAITING и poll status | Создавать новую операцию не нужно |
| Та же ошибка и те же args N раз | Circuit break | Агент не получил новой информации |
Google Workflows позволяет задавать retry predicate, max retries и backoff и отдельно приводит стратегии для идемпотентных и неидемпотентных шагов. Это важное различие: GET обычно безопаснее повторить, а POST на создание заказа требует idempotency key или отдельной проверки статуса операции.
Состояние хранит причину паузы и границы run
run_id: run_2048
step_id: create_invoice
state: WAITING
attempt: 2
total_actions: 11
max_total_actions: 20
deadline_at: 2026-10-04T14:30:00Z
idempotency_key: invoice-order-771-v1
last_error_fingerprint: http429:billing:create
next_attempt_at: 2026-10-04T14:24:30Z
last_external_operation_id: op_91aWAITING — не тот же шаг, кружащийся в памяти процесса. Это сохранённое состояние с временем следующей попытки, которое разбудит планировщик. NEEDS_HUMAN содержит конкретный вопрос и собранные доказательства. FAILED фиксирует конечную причину. Так интерфейс показывает, что происходит, а перезапуск процесса не обнуляет счётчик.
Budget ограничивает попытки в нескольких измерениях
- max_attempts_per_step защищает один проблемный tool call.
- max_total_actions ограничивает перепланирование через разные инструменты.
- deadline_at прекращает долгий run, даже если отдельные попытки редкие.
- max_same_error_fingerprint ловит цикл с косметически разным текстом ответа.
- max_cost или token budget ограничивает дорогие модели и платные API.
- circuit breaker временно закрывает зависимость, которая массово отвечает одинаково.
Backoff желательно делать экспоненциальным с jitter, чтобы множество агентов не проснулось одновременно. Но задержка не исправляет неверный аргумент. Retry predicate должен смотреть на тип ошибки и семантику операции. AWS Step Functions также различает catcher и retrier и хранит настройки повторов на уровне state machine; при redrive счётчики могут вести себя иначе, поэтому тестируйте именно ваш путь восстановления.
Идемпотентность закрывает неопределённый результат
- Сформировать стабильный idempotency key из бизнес-операции, а не из номера попытки.
- Передать ключ внешнему API или записать локальный operation record до вызова.
- После timeout сначала запросить статус по ключу или operation ID.
- Если операция завершена, продолжить workflow с сохранённым результатом.
- Если статус неизвестен, эскалировать, а не создавать второй заказ или платёж.
Azure Durable Functions показывает retry policies для activity и обработку исключений в orchestrator code. Независимо от платформы, внешний побочный эффект должен иметь собственную защиту: оркестратор не способен отменить уже принятый запрос только потому, что не получил ответ.
Тестируем не happy path, а плохую сеть
Сымитируйте 429 с Retry-After, три 503, постоянный 400, потерю ответа после успешной записи и зависший status endpoint. Для каждого сценария посчитайте физические вызовы, итоговое состояние и число созданных бизнес-объектов. Исправление принято, когда run гарантированно останавливается в пределах budget, ожидание не крутит CPU, повтор использует тот же idempotency key, а оператор видит понятную причину и безопасное следующее действие.