Если тест уже отправляет уведомления клиентам, сначала прекратите новые побочные эффекты: остановите load generator и outbound workers, запретите использование production provider credential и сохраните состояние очереди. Не очищайте очередь вслепую — в ней могут быть смешаны тестовые и законные production-сообщения, которые нужно классифицировать по trace ID, campaign ID и времени.

Безопасный нагрузочный тест не должен зависеть от обещания «мы подставим тестовый email». Основной барьер — отдельный notification sink или официальный simulator, который не доставляет сообщения реальным адресатам. Allowlist получателей, отдельная identity и egress policy создают дополнительные независимые барьеры.

Первые минуты посвящены сдерживанию

  1. Остановить новые итерации load generator и зафиксировать test run ID и время.
  2. Поставить на паузу outbound email/SMS/push workers или маршрут к провайдеру.
  3. Отозвать или заблокировать ошибочно использованную production credential для тестового workload.
  4. Сохранить queue depth, message IDs, destination hashes и provider request IDs без содержимого сообщений.
  5. Отделить подтверждённые тестовые сообщения от обычного production traffic.
  6. Вместе с владельцами продукта решить, какие production-сообщения возобновить, а какие тестовые отменить.
  7. Проверить provider logs и начать утверждённую коммуникацию об инциденте при необходимости.

Нельзя считать остановкой только завершение k6: API мог уже положить десятки тысяч записей в outbox, а workers продолжат отправку. И наоборот, массовое удаление очереди может стереть чеки и коды подтверждения настоящих пользователей. Решение принимают по происхождению каждой группы сообщений и наблюдаемым идентификаторам.

Нагрузку и доставку разделяют границей

КомпонентЧто нагружаемБезопасная замена
Public/API endpointAuth, validation, rate limitsРеальный test environment
Business logicСоздание событий и outboxРеальная БД с синтетическими tenant IDs
Queue/brokerPublish, partition, consumeВыделенный topic/namespace
Notification rendererШаблоны и персонализацияSink сохраняет metadata без PII
Provider adapterRetry и status handlingFake/simulator с контролируемыми ответами
Реальная доставкаОбычно не является цельюЖёстко заблокирована

Если цель — проверить API и очередь, не нужно отправлять миллион SMS. Если цель — проверить адаптер провайдера, используйте его официальные test credentials или mailbox simulator и учитывайте ограничения. Например, Amazon SES mailbox simulator создаёт сценарии success, bounce и complaint без доставки на реальные recipient servers; сообщения всё равно тарифицируются и учитываются в sending rate.

Preflight должен завершать тест до первого запроса

preflight:
  assert ENVIRONMENT in [load, staging]
  assert NOTIFICATION_MODE == sink
  assert PROVIDER_ACCOUNT_ID == approved_test_account
  assert destination_domain in [load.invalid, simulator-approved]
  assert outbound_network_policy denies production_provider
  assert synthetic_tenant_prefix == loadrun-<run_id>

run:
  canary_iterations: 1
  assert sink_received == expected
  assert provider_real_delivery_count == 0
  then start configured scenarios

Grafana k6 позволяет передавать параметры через environment variables и разделять нагрузку на scenarios с разными executors и tags. Но переменная сама по себе не является защитой: ошибочное значение можно передать в CI. Проверяйте допустимое значение внутри test harness и на стороне приложения, а production network policy должна физически запрещать тестовой identity обращаться к боевому endpoint.

Один барьер обязательно когда-нибудь ошибётся

  • Sink реализует тот же контракт, но не открывает внешнее соединение к получателю.
  • Тестовая identity не имеет права использовать production provider account.
  • Destination guard разрешает только специально созданные домены, номера или simulator addresses.
  • Synthetic tenant не содержит импортированных email и телефонов клиентов.
  • Egress policy запрещает production endpoints даже при ошибке конфигурации приложения.
  • Quota на тестовом аккаунте ограничивает максимальный blast radius.
  • Alert срабатывает на любую попытку real provider send из load environment.

Twilio test credentials, где они доступны для нужного продукта, не списывают средства и не соединяются с реальными телефонными номерами, но поддерживают не все API и не создают обычные status callbacks. Поэтому simulator contract нужно сверять с текущей документацией провайдера, а retry/status ветки дополнять управляемым fake adapter.

Canary проверяет побочный эффект, а не только HTTP 200

ШагПроверкаСтоп-сигнал
1 итерацияОдна запись в выделенном outboxНеизвестный tenant или recipient
1 обработкаСообщение пришло в sinkОбращение к production endpoint
Небольшая ступеньQueue depth и retries предсказуемыРост dead-letter без объяснения
Целевая нагрузкаSLO API/queue соблюденыЛюбой real delivery event
ЗавершениеОчередь тестового namespace пустаОстались scheduled messages

Заранее определите счётчики: created_test_notifications, sink_received, blocked_destinations, provider_attempts и real_delivery_count. Успех — не просто latency ниже порога, а равенство ожидаемого числа событий и sink-записей при real_delivery_count = 0. Любая попытка обращения к боевому провайдеру останавливает ramp-up.

После теста среда не должна продолжать отправку

Удалите или истеките test credentials, остановите scheduled jobs, дождитесь обработки только выделенного test namespace и проверьте dead-letter queue. Сохраните агрегированные метрики, сценарий и версии компонентов, но не тела писем, телефоны или адреса клиентов. Отдельно подтвердите, что production workers не получили тестовые сообщения после завершения.

Для разбора инцидента нужны run ID, временной интервал, topology outbox/workers, provider account ID, обезличенные destination hashes, request IDs и число подтверждённых доставок. Эти данные позволяют оценить последствия и построить защиту без распространения PII. Новую нагрузку запускают только после canary и подписанного preflight.

Проверенные источники