Дубли задач возникают не потому, что модель «плохо поняла» текст, а потому что внешнее действие выполнилось без устойчивой идентичности. Агент, очередь или HTTP-клиент может повторить запрос после таймаута, хотя CRM уже создала задачу. Запрет в prompt полезен для поведения, но не заменяет ограничение в executor.
Сначала свяжите пару дублей: conversation ID, turn ID, tool name, tool call ID, номер попытки, operation key и CRM request/object ID. Если этих полей нет, добавьте журнал до следующего исправления. Удаление дублей без восстановления цепочки уничтожает доказательство причины.
Повтор имеет четыре разных источника
| Как появился второй вызов | Стабильная часть ключа | Правильный ответ executor |
|---|---|---|
| Повтор того же tool call | tenant + tool_call_id | Вернуть сохранённый result |
| Retry очереди после timeout | tenant + operation_id | Дождаться processing либо reconcile |
| Повторная генерация того же turn | conversation + turn + action slot | Не исполнять заново |
| Пользователь действительно просит ещё задачу | Новый explicit operation_id | Создать новый объект |
| Webhook CRM доставлен повторно | provider + event_id | Подтвердить уже обработанное событие |
Не используйте только текст заголовка и срок как idempotency key: две законные задачи могут совпасть. И наоборот, не генерируйте случайный UUID при каждой HTTP-попытке — тогда повтор выглядит новой операцией. Ключ рождается один раз на уровне намерения и проходит через все retries.
Уникальность ставится до вызова CRM
BEGIN;
INSERT INTO agent_actions
(tenant_id, operation_key, status, payload_hash)
VALUES (:tenant, :key, 'processing', :hash)
ON CONFLICT (tenant_id, operation_key) DO NOTHING
RETURNING id;
-- Если id не вернулся: прочитать существующую запись
-- и вернуть result_id либо запустить reconciliation.
COMMIT;Это пример для хранилища с уникальным ограничением, а не готовая схема для копирования. Важна последовательность: атомарно зарезервировать ключ, затем выполнить side effect и записать CRM object ID. Простая проверка SELECT, за которой идёт INSERT, оставляет гонку для двух workers.
Timeout переводит операцию в unknown, а не failed
Если CRM не ответила, неизвестно, создала ли она объект. Немедленный новый POST опасен. Сначала запросите объект по idempotency key, external ID или собственному marker. Если провайдер поддерживает idempotency header, передавайте тот же ключ на каждой попытке; Stripe документирует именно такую модель для безопасных повторов изменяющих запросов.
- processing: один worker владеет операцией, остальные ждут ограниченное время.
- succeeded: возвращается прежний CRM object ID без нового вызова.
- unknown: reconciliation ищет результат у провайдера перед retry.
- failed-retryable: повтор использует тот же ключ и тот же payload hash.
- rejected: изменение параметров под старым ключом считается конфликтом, а не новой задачей.
Outbox закрывает разрыв между базой и очередью
Если после записи agent_actions процесс упал до постановки job, операция зависнет. Запишите outbox-сообщение в той же транзакции, а отдельный publisher доставит его повторяемо. Worker обновляет статус только после подтверждённого CRM result. Периодический reconciler ищет слишком долгие processing/unknown и проверяет их без слепого создания.
HTTP определяет PUT и DELETE как идемпотентные по семантике, а POST сам по себе таким не становится. Для create-task поверх POST нужна прикладная гарантия: уникальный external ID, idempotency key или собственный ledger. Retry library не может угадать эту гарантию.
Тест должен оборвать связь после side effect
- Создать одну операцию и искусственно потерять ответ CRM после успешной записи.
- Повторить delivery тем же worker и другим worker одновременно.
- Убедиться, что в CRM один объект, а обе попытки получили один result_id.
- Повторить запрос с тем же ключом и изменённым payload: ожидать conflict.
- Создать второе явное намерение пользователя и подтвердить новый operation key.
Для исправления понадобятся два обезличенных audit trail, схема retries, место генерации operation key и возможности CRM по external ID или idempotency. Не передавайте содержимое клиентских задач и токены. После внедрения отслеживайте долю replay, unknown и reconciled: нулевое число дублей без видимости повторов ещё не доказывает устойчивость.