Timeout не означает, что операция не состоялась. Ответ мог потеряться после commit, и клиент повторит тот же Create. gRPC также поддерживает transparent retry для низкоуровневых сбоев, поэтому безопасность нельзя строить на предположении «наш код retry не включал». Для команды с side effect нужен стабильный request_id, который сохраняется при всех попытках одного намерения пользователя.

Ключ дедупликации должен принадлежать caller и методу. Одинаковый UUID от другого tenant не может получить чужой результат. Вместе с key храните hash канонического business payload: повтор с тем же ID, но другой суммой или получателем завершается конфликтом, а не тихим возвратом результата первой команды.

Три timeout-сценария выглядят одинаково для клиента

СбойСостояние сервераПовтор без защиты
До получения requestНичего не сделаноОбычно безопасен
Во время обработки до commitТранзакция откатилась или неизвестнаЗависит от side effects
После commit до responseОперация завершенаСоздаёт дубль
После response у proxyОперация завершена, клиент не знаетСоздаёт дубль

Именно последние два случая требуют серверной памяти об операции. Retrying только UNAVAILABLE с backoff уменьшает нагрузку, но не решает неоднозначный исход. DEADLINE_EXCEEDED тоже может вернуться после того, как изменение фактически завершилось; клиент проверяет результат по request_id либо повторяет безопасно.

Record хранит больше одного флага done

idempotency_record {
  caller_id
  rpc_method
  request_id
  request_hash
  state: IN_PROGRESS | SUCCEEDED | FAILED_FINAL
  resource_id
  response_snapshot
  created_at
  expires_at
}
UNIQUE (caller_id, rpc_method, request_id)

Google AIP-155 связывает request ID с гарантией idempotency. Практическая запись дополнительно фиксирует результат: resource ID или минимальный response snapshot. Хранить вечный полный protobuf необязательно, но TTL record должен покрывать максимальное окно client retry и разбор инцидента. Удаление слишком рано превращает поздний повтор в новую операцию.

Business write и dedup обязаны завершиться согласованно

  1. Начать транзакцию и попытаться вставить idempotency record с unique key.
  2. При конфликте проверить caller, method и request_hash.
  3. Если запись SUCCEEDED, вернуть сохранённый результат без side effect.
  4. Если IN_PROGRESS, ждать ограниченно или вернуть retryable status с понятным контрактом.
  5. Создать business object и outbox event в той же транзакции.
  6. Записать SUCCEEDED и result reference, затем commit.

Если внешняя платёжная система не участвует в вашей транзакции, передавайте ей производный idempotency key и храните её operation ID. Не отмечайте локальную запись успешной до подтверждения внешнего результата; состояние UNKNOWN обрабатывается reconciliation, а не новым charge. Email и webhook отправляет outbox worker с собственным уникальным event ID.

Повтор с другим payload — ошибка клиента

first:  request_id=R7 amount=100 recipient=A  -> success operation=O9
retry:  request_id=R7 amount=100 recipient=A  -> same operation O9
bug:    request_id=R7 amount=200 recipient=A  -> ALREADY_EXISTS / conflict
new:    request_id=R8 amount=200 recipient=A  -> new operation

Не вычисляйте idempotency key только из payload: две намеренно одинаковые покупки тогда склеятся. Key создаёт клиент для одного пользовательского намерения; payload hash лишь подтверждает его неизменность. Логи содержат hash или сокращённый request ID, но не платёжные данные и не полный токен.

Retry policy включается после проверки метода

  • Read-only RPC можно повторять по документированным transient codes.
  • Create без request_id не получает aggressive retry policy.
  • Create с end-to-end idempotency выдерживает параллельные попытки одного key.
  • Backoff и maxAttempts ограничивают retry storm, но не заменяют dedup.
  • Метрики считают logical operations отдельно от transport attempts.

Официальная документация gRPC показывает retry policy на уровне метода и отдельно transparent retries. Проверьте фактическую service config на клиенте, proxy и SDK version: попытки могут появиться раньше application-level логики. Один trace должен связывать logical request_id и разные attempt spans.

Испытание обрывает соединение после commit

Запустите две параллельные попытки, оборвите первую сразу после business commit, повторите запрос и сравните operation ID. Затем повторите с изменённым payload и дождитесь expiration record. Для разбора подготовьте proto, retry config, transaction boundary, схему idempotency table и trace нескольких attempts. Успех — на один request_id существует один side effect, повтор получает тот же результат, а конфликт payload виден клиенту и в audit.

Проверенные источники