Чтобы найти задержку, нужен не общий график заявок, а лента одного test lead. Сохраните время отправки формы, время прихода HTTP POST, постановки в очередь, успешного ответа CRM и первого появления в интерфейсе. Первый большой интервал и есть участок расследования; часовой пояс отображения держите отдельно от UTC timestamp.

Webhook не должен ждать медленный CRM API, отправку письма и сообщение в мессенджер. Он проверяет источник и обязательные поля, записывает неизменный payload или нормализованное событие в durable storage, после чего быстро отвечает. Всё остальное выполняет idempotent worker.

Пять часов показывают разные задержки

МеткаКто её ставитЧто измеряет
lead_submit_timeрекламная платформамомент отправки формы
received_atwebhook ingressдоставку platform → endpoint
enqueued_atваш сервисvalidation и durable приём
crm_accepted_atworker/CRM APIочередь и внешнюю запись
first_visible_atCRM/read modelиндексацию, sync и UI

Google Lead Form webhook передаёт lead_submit_time в ISO-8601 и уникальный lead_id. Используйте platform timestamp как входную метку, но latency считайте после нормализации в UTC и сохраняйте исходную строку для аудита. Не заменяйте её временем, когда worker наконец прочитал очередь.

Ingress подтверждает приём, а не весь бизнес-процесс

Endpoint должен иметь короткий предсказуемый путь: аутентификация или verification key, ограничение размера, schema validation, сохранение и ACK. В Google Ads ответ 200 означает успех, 4xx не считается retryable, а 5xx обозначает временную ошибку. Неверная классификация превращает постоянную ошибку в бесконечные повторы или, наоборот, теряет временно недоступный lead.

POST /webhooks/google-leads
  verify source/key
  parse known fields; keep unknown fields
  begin transaction
    INSERT inbox(source, lead_id, payload, received_at)
      ON CONFLICT (source, lead_id) DO NOTHING
    enqueue inbox_id
  commit
  return 200 {}

worker:
  upsert CRM by external_lead_id
  store crm_accepted_at and response id

Не отдавайте 200 до устойчивой записи: авария между ACK и enqueue создаёт невидимую потерю. Но и не держите HTTP соединение до завершения всех downstream-вызовов. Transactional inbox/outbox или очередь с подтверждением закрывает эту границу.

Повторная доставка не создаёт второго клиента

Webhook-платформы и ваши retry jobs могут прислать событие повторно. Google рекомендует дедупликацию по lead_id, который уникален для lead forms. Уникальное ограничение (source, lead_id) должно стоять в базе; предварительный SELECT не защищает от двух параллельных delivery.

  • Повтор идентичного payload возвращает успешный ACK без нового CRM lead.
  • Изменённый payload с тем же ID сохраняется как конфликт для разбора.
  • CRM upsert использует тот же external_lead_id.
  • Уведомление имеет отдельный idempotency key и не дублирует сообщение.

Персональные поля не нужны в обычных метриках. Для трассировки достаточно hash или внутреннего lead key, source, form/campaign ID, этапа, результата и времени. Полный payload хранится по сроку и доступу, соответствующим политике продукта.

Очередь объясняет задержку лучше среднего времени

Смотрите возраст старейшего доступного сообщения, время ожидания до первого attempt, число retry и причины. Средняя latency скрывает небольшой хвост на несколько часов. Разделите retryable ответы CRM — timeout, 429, 5xx — и постоянные 4xx из-за схемы или прав; последние уходят в quarantine, а не занимают очередь.

Добавьте reconciliation job: он сравнивает принятые inbox events с CRM receipts и поднимает только отсутствующие. Это страховка от редких сбоев, а не основной транспорт. Ручная выгрузка из рекламного кабинета должна сохранять исходный lead ID, иначе импорт создаст дубликаты.

Контрольный lead проходит путь под секундомером

  1. Создать тестовую форму штатным средством платформы.
  2. Найти delivery по lead ID и received_at в ingress log.
  3. Подтвердить одну запись inbox и одно сообщение queue.
  4. Сверить CRM external ID и время принятия API.
  5. Проверить появление в нужной воронке и одно уведомление.

После исправления dashboard показывает p50/p95/p99 отдельно для platform delivery, queue wait, CRM call и UI visibility, а alert срабатывает по возрасту хвоста и отсутствию delivery. Для разбора подготовьте один test lead ID, пять timestamps, коды ответов и номера attempts; имя, телефон и текст ответа пользователя в технический отчёт не включайте.

Проверенные источники