Когда Docker-логи быстро заполняют диск, не начинайте с `rm` или `truncate` внутри `/var/lib/docker`. Docker предупреждает, что внутренние log files принадлежат daemon; внешнее редактирование может нарушить работу logging system. Сначала найдите контейнер, driver и скорость роста, сохраните короткий фрагмент для причины, затем ограничьте новые записи конфигурацией.

По умолчанию Docker Engine использует `json-file`, и rotation для него может быть не настроена. Официальная документация рекомендует driver `local` для обычных случаев: он ротирует и сжимает данные по умолчанию. Изменение daemon default действует только на вновь созданные контейнеры — существующие надо пересоздать.

Аварийная минута: кто съедает диск

docker system df
docker info --format '{{.LoggingDriver}}'

# Для конкретного контейнера
docker inspect -f '{{.Name}} {{.HostConfig.LogConfig.Type}} {{json .HostConfig.LogConfig.Config}}' CONTAINER
docker logs --since 10m --tail 200 CONTAINER

Команды показывают общий расход, driver/options и последние сообщения. Если раздел уже почти заполнен, остановите генератор шума управляемым способом: уменьшите трафик, отключите проблемную задачу или остановите один подтверждённый контейнер согласно процедуре сервиса. Не удаляйте все логи до сохранения ошибки и не запускайте общую очистку образов/volumes как замену диагнозу.

Признак в потокеПричина приложенияИсправление источника
одна ошибка тысячи разretry без backoffограничить попытки, jitter и агрегировать
полный request/responsedebug/body loggingуровень production и redaction
health check каждую секундуaccess log без фильтраубрать успешный health endpoint
stack trace на ожидаемый 4xxневерный уровеньструктурный warn/error только для аномалии
одна строка огромного размераpayload/exception dumpлимит поля и безопасная summary

Rotation ограничивает объём, но не лечит шум

Для daemon default укажите `log-driver` и строковые `log-opts` в `daemon.json`, проверьте валидность конфигурации и перезапустите daemon по регламенту. `local` хранит несколько ротируемых файлов и использует сжатие. Свои числа выбирайте из периода расследования: слишком малое окно уничтожит контекст до реакции дежурного.

{
  "log-driver": "local",
  "log-opts": {
    "max-size": "20m",
    "max-file": "5",
    "compress": "true"
  }
}

Верхняя оценка для примера — около 100 MB на контейнер до накладных расходов и временной распаковки. Умножьте её на максимальное число контейнеров и оставьте запас раздела. Документация Docker отмечает: чтение сжатых rotated logs временно увеличивает использование диска и CPU.

Compose закрепляет политику рядом с сервисом

services:
  api:
    image: registry.example/api:2026-10-07
    logging:
      driver: local
      options:
        max-size: "20m"
        max-file: "5"
        compress: "true"

Service-level настройка полезна, когда аудит или объём отличаются от daemon default. После изменения выполните `docker compose config`, затем пересоздайте сервис в допустимое окно и снова посмотрите `HostConfig.LogConfig`. Обычный restart старого контейнера не меняет выбранный при создании logging driver.

  • Рассчитайте retention из bytes per minute и времени реакции, а не копируйте 10m/3 из примера.
  • Для централизованного driver проверьте поведение при недоступности collector и локальный buffer.
  • Не включайте пароли, токены, cookie, персональные данные и полные тела в stdout/stderr.
  • Добавьте correlation/request id, но контролируйте cardinality labels.
  • Сигнализируйте по свободному месту и скорости роста до аварийного порога.

Blocking и non-blocking — осознанный обмен

По умолчанию Docker доставляет сообщения logging driver в blocking mode. При медленном driver это может затормозить приложение. Non-blocking использует per-container buffer и защищает процесс от backpressure, но при заполнении новые сообщения отбрасываются. Для аудита потеря может быть неприемлема; для отладочного потока она часто лучше остановки API.

ТребованиеРежимКонтроль
нельзя терять audit eventsне полагаться только на stdoutdurable audit pipeline и alarm
API не должен блокироваться логгеромnon-blockingdropped/collector health metrics
локальная диагностикаlocal driverразмер × число файлов
центральный поискremote driver/agentбуфер, retry, TLS, outage test

Проверка после пересоздания

  1. Сравнить container id: сервис действительно пересоздан, а не только перезапущен.
  2. Через docker inspect подтвердить driver и все options у каждого replica.
  3. Создать контролируемый тестовый поток в staging и увидеть rotation без заполнения раздела.
  4. Проверить `docker logs --since` до и после rotation и доступность нужного окна.
  5. Смоделировать недоступность remote collector, если он используется, и проверить поведение приложения.
  6. Убедиться, что причина исходного log storm исправлена, а rate вернулся к базовой линии.

Для плановой правки принесите вывод `docker info`, `docker inspect` без environment/secrets, график свободного места и несколько обезличенных повторяющихся строк. Итоговая защита состоит из двух частей: приложение перестаёт печатать шум, а driver физически не может бесконечно занять диск.

Проверенные источники