Прежде чем чинить Redis, сформулируйте ожидаемое поведение на границе. «100 запросов в минуту» может означать фиксированную календарную минуту, любые скользящие 60 секунд или bucket со скоростью пополнения. Эти алгоритмы законно дают разные ответы одному трафику; без контракта любой график выглядит ошибкой.
Если выбран fixed window, самая частая реальная поломка — раздельные `INCR` и `EXPIRE`. Процесс может упасть между командами, и key останется без TTL. Документация Redis показывает эту гонку и предлагает объединить операции в Lua script.
Симптом сначала привязывают к алгоритму
| Симптом | Вероятная причина | Следующая проверка |
|---|---|---|
| двойной всплеск на границе минуты | свойство fixed window | нужен sliding/token bucket? |
| key живёт вечно | INCR прошёл, EXPIRE нет | PTTL и атомарный script |
| лимит общий для всех | неполный key | tenant/user/route |
| разные узлы спорят | локальный fallback или clock skew | trace решения и источник времени |
| TTL продлевается каждый раз | EXPIRE на каждом запросе | ставить только при первом INCR |
| после failover лимит ослаб | политика consistency/failure | описать fail-open/closed |
Key повторяет продуктовую политику
rl:{tenant-42}:user-7:POST:/exports:29311295
| hash tag | subject | route | fixed-window number
limit = 10
window_ms = 60000Пример условный. Не вставляйте raw API token, email или полный IP без политики данных. Для анонимного трафика IP может быть частью субъекта, но сначала корректно определите доверенные proxy и нормализацию IPv4/IPv6. В Redis Cluster все keys одного script должны попасть в совместимый hash slot; hash tag в фигурных скобках управляет этим размещением.
INCR и TTL становятся одной операцией
local current = redis.call('INCR', KEYS[1])
if current == 1 then
redis.call('PEXPIRE', KEYS[1], ARGV[1])
end
local ttl = redis.call('PTTL', KEYS[1])
local allowed = 0
if current <= tonumber(ARGV[2]) then allowed = 1 end
return {allowed, current, ttl}Redis выполняет Lua script атомарно: другой запрос не вклинится между INCR и PEXPIRE. TTL ставится только на первом счётчике, иначе окно превращается в sliding inactivity ban. Если script обнаружил `PTTL = -1` у старого повреждённого key, решите явно: восстановить ограниченный TTL, удалить key через отдельную миграцию или поднять тревогу.
Ответ API использует тот же результат
- allow/deny берётся из возвращённого `allowed`, без второго GET.
- Remaining ограничивается снизу нулём: `max(0, limit-current)`.
- Retry-After вычисляется из положительного PTTL и округляется вверх.
- Decision log хранит policy ID, key hash, count, TTL и Redis node без персональных данных.
- Повтор бизнес-запроса всё равно считается запросом, если контракт не предусматривает idempotency exemption.
Граница окна требует отдельного теста
| Сценарий | Ожидание для limit=10 | Инвариант |
|---|---|---|
| 50 одновременно в пустое окно | 10 allow, 40 deny | counter=50 или cap по контракту |
| десятый и одиннадцатый | allow / deny | одно решение на запрос |
| запрос перед/после границы | оба могут пройти fixed window | документированное поведение |
| worker падает после script | counter уже изменён | response может быть unknown |
| Redis недоступен | fail-open или fail-closed | метрика и алерт |
Двойной допустимый burst вокруг границы — не гонка Redis, а известное свойство fixed window. Если продукт обещает «не больше N в любые 60 секунд», нужен sliding log/counter или token bucket, а не усложнение названия fixed key.
Время берётся из одного согласованного места
Если каждый API-узел сам вычисляет номер окна, рассинхронизированные часы отправят одновременные запросы в разные keys. Синхронизируйте hosts и логируйте window number; для алгоритмов с точным временем выберите один источник и проверьте его в используемой версии/топологии Redis. Не смешивайте milliseconds и seconds в score, TTL и заголовках.
Отказ Redis — часть контракта безопасности
Fail-open сохраняет доступность, но временно снимает защиту; fail-closed защищает ресурс, но блокирует легитимных клиентов. Для login, платёжного API и публичного каталога решение может отличаться. Ограничьте локальный fallback по времени, не объединяйте counters разных субъектов и сигнализируйте о каждом переходе режима.
Миграция политики получает новый namespace
- Дать алгоритму и key schema версию, например `rl:v3:`.
- Запустить shadow decision без влияния на ответ.
- Сравнить allow/deny нового и старого лимитера на обезличенной выборке.
- Переключить небольшой процент routes/tenants.
- Оставить rollback на старый namespace до истечения максимального TTL.
- Удалять старые keys только после безопасного естественного истечения.
Для расследования подготовьте policy ID, обезличенный key, Lua SHA/версию, limit/window, count/PTTL до и после, concurrency тест и поведение при недоступном Redis. Пароли, connection URL и реальные access tokens не включайте.