Если тест уже отправляет уведомления клиентам, сначала прекратите новые побочные эффекты: остановите load generator и outbound workers, запретите использование production provider credential и сохраните состояние очереди. Не очищайте очередь вслепую — в ней могут быть смешаны тестовые и законные production-сообщения, которые нужно классифицировать по trace ID, campaign ID и времени.
Безопасный нагрузочный тест не должен зависеть от обещания «мы подставим тестовый email». Основной барьер — отдельный notification sink или официальный simulator, который не доставляет сообщения реальным адресатам. Allowlist получателей, отдельная identity и egress policy создают дополнительные независимые барьеры.
Первые минуты посвящены сдерживанию
- Остановить новые итерации load generator и зафиксировать test run ID и время.
- Поставить на паузу outbound email/SMS/push workers или маршрут к провайдеру.
- Отозвать или заблокировать ошибочно использованную production credential для тестового workload.
- Сохранить queue depth, message IDs, destination hashes и provider request IDs без содержимого сообщений.
- Отделить подтверждённые тестовые сообщения от обычного production traffic.
- Вместе с владельцами продукта решить, какие production-сообщения возобновить, а какие тестовые отменить.
- Проверить provider logs и начать утверждённую коммуникацию об инциденте при необходимости.
Нельзя считать остановкой только завершение k6: API мог уже положить десятки тысяч записей в outbox, а workers продолжат отправку. И наоборот, массовое удаление очереди может стереть чеки и коды подтверждения настоящих пользователей. Решение принимают по происхождению каждой группы сообщений и наблюдаемым идентификаторам.
Нагрузку и доставку разделяют границей
| Компонент | Что нагружаем | Безопасная замена |
|---|---|---|
| Public/API endpoint | Auth, validation, rate limits | Реальный test environment |
| Business logic | Создание событий и outbox | Реальная БД с синтетическими tenant IDs |
| Queue/broker | Publish, partition, consume | Выделенный topic/namespace |
| Notification renderer | Шаблоны и персонализация | Sink сохраняет metadata без PII |
| Provider adapter | Retry и status handling | Fake/simulator с контролируемыми ответами |
| Реальная доставка | Обычно не является целью | Жёстко заблокирована |
Если цель — проверить API и очередь, не нужно отправлять миллион SMS. Если цель — проверить адаптер провайдера, используйте его официальные test credentials или mailbox simulator и учитывайте ограничения. Например, Amazon SES mailbox simulator создаёт сценарии success, bounce и complaint без доставки на реальные recipient servers; сообщения всё равно тарифицируются и учитываются в sending rate.
Preflight должен завершать тест до первого запроса
preflight:
assert ENVIRONMENT in [load, staging]
assert NOTIFICATION_MODE == sink
assert PROVIDER_ACCOUNT_ID == approved_test_account
assert destination_domain in [load.invalid, simulator-approved]
assert outbound_network_policy denies production_provider
assert synthetic_tenant_prefix == loadrun-<run_id>
run:
canary_iterations: 1
assert sink_received == expected
assert provider_real_delivery_count == 0
then start configured scenariosGrafana k6 позволяет передавать параметры через environment variables и разделять нагрузку на scenarios с разными executors и tags. Но переменная сама по себе не является защитой: ошибочное значение можно передать в CI. Проверяйте допустимое значение внутри test harness и на стороне приложения, а production network policy должна физически запрещать тестовой identity обращаться к боевому endpoint.
Один барьер обязательно когда-нибудь ошибётся
- Sink реализует тот же контракт, но не открывает внешнее соединение к получателю.
- Тестовая identity не имеет права использовать production provider account.
- Destination guard разрешает только специально созданные домены, номера или simulator addresses.
- Synthetic tenant не содержит импортированных email и телефонов клиентов.
- Egress policy запрещает production endpoints даже при ошибке конфигурации приложения.
- Quota на тестовом аккаунте ограничивает максимальный blast radius.
- Alert срабатывает на любую попытку real provider send из load environment.
Twilio test credentials, где они доступны для нужного продукта, не списывают средства и не соединяются с реальными телефонными номерами, но поддерживают не все API и не создают обычные status callbacks. Поэтому simulator contract нужно сверять с текущей документацией провайдера, а retry/status ветки дополнять управляемым fake adapter.
Canary проверяет побочный эффект, а не только HTTP 200
| Шаг | Проверка | Стоп-сигнал |
|---|---|---|
| 1 итерация | Одна запись в выделенном outbox | Неизвестный tenant или recipient |
| 1 обработка | Сообщение пришло в sink | Обращение к production endpoint |
| Небольшая ступень | Queue depth и retries предсказуемы | Рост dead-letter без объяснения |
| Целевая нагрузка | SLO API/queue соблюдены | Любой real delivery event |
| Завершение | Очередь тестового namespace пуста | Остались scheduled messages |
Заранее определите счётчики: created_test_notifications, sink_received, blocked_destinations, provider_attempts и real_delivery_count. Успех — не просто latency ниже порога, а равенство ожидаемого числа событий и sink-записей при real_delivery_count = 0. Любая попытка обращения к боевому провайдеру останавливает ramp-up.
После теста среда не должна продолжать отправку
Удалите или истеките test credentials, остановите scheduled jobs, дождитесь обработки только выделенного test namespace и проверьте dead-letter queue. Сохраните агрегированные метрики, сценарий и версии компонентов, но не тела писем, телефоны или адреса клиентов. Отдельно подтвердите, что production workers не получили тестовые сообщения после завершения.
Для разбора инцидента нужны run ID, временной интервал, topology outbox/workers, provider account ID, обезличенные destination hashes, request IDs и число подтверждённых доставок. Эти данные позволяют оценить последствия и построить защиту без распространения PII. Новую нагрузку запускают только после canary и подписанного preflight.