История метрик должна храниться на постоянном диске. Если TSDB находится внутри временного контейнера, пересоздание удаляет данные.
Ниже — практический порядок проверки. Он помогает сначала локализовать источник сбоя, затем внести минимальное изменение и проверить результат на реальном сценарии.
Как проявляется проблема
После restart или redeploy графики начинаются с текущего времени, старые series отсутствуют, хотя targets снова собираются.
Что проверить в первую очередь
- Зафиксируйте точное время ошибки, пользователя, объект или операцию, на которой она появилась.
- Сравните успешный и проблемный сценарии: входные данные, права, окружение, версию приложения и последовательность действий.
- Проверьте последние изменения в коде, настройках, интеграциях, инфраструктуре и фоновых заданиях.
- Сохраните связанные логи и идентификаторы запроса до повторного запуска или очистки кеша.
Основные причины
Один и тот же внешний симптом может возникать на разных уровнях. Поэтому полезно проверять не только интерфейс, но и данные, права доступа, очередь событий и состояние внешнего сервиса.
- Каталог данных не подключен как persistent volume.
- Путь хранения в конфиге отличается от mount path.
- Права пользователя не позволяют открыть старый TSDB.
- Retention или очистка диска удалила блоки.
Пошаговая диагностика
- Проверьте фактический storage.tsdb.path процесса.
- Сопоставьте container mount и каталог на хосте.
- Посмотрите логи восстановления WAL и ошибки block corruption.
- Проверьте retention flags, свободное место и время удаления.
Как исправить
Исправление лучше делать небольшими проверяемыми шагами. Перед изменением рабочих данных сделайте резервную копию или подготовьте обратную миграцию.
- Подключите отдельный persistent volume к точному пути TSDB.
- Исправьте владельца и права без запуска процесса от root.
- Восстановите блоки из резервной копии, если они сохранились.
- Для долгой истории подключите remote_write или специализированное хранилище.
Как проверить результат
- Перезапуск и пересоздание контейнера сохраняют старые графики.
- TSDB запускается без corruption и пишет новые блоки.
- Повторите исходный проблемный сценарий и минимум один пограничный случай.
- Проверьте логи после исправления: отсутствие ошибки в интерфейсе еще не гарантирует корректную обработку.
- Убедитесь, что правка не нарушила соседние операции, права других ролей и повторную обработку события.
Чего не стоит делать
- Не отключайте проверки безопасности и разграничение доступа только ради исчезновения ошибки.
- Не меняйте массово рабочие данные без выборки, резервной копии и заранее подготовленного отката.
- Не запускайте повторно платежи, рассылки, возвраты или фоновые задачи, пока не проверена идемпотентность.
- Не оставляйте токены, пароли, персональные данные и полные тела запросов в открытых логах.
Как не допустить повторения
- Мониторьте заполнение диска и срок retention.
- Проверяйте восстановление monitoring data, а не только наличие backup.
Что подготовить для разбора
- Ссылку на проблемную страницу, метод API, задание, отчет или интеграцию.
- Точное описание ожидаемого и фактического результата без секретных ключей и паролей.
- Фрагмент лога за нужный период, идентификатор операции и пример входных данных.
- Список последних изменений и информацию о рабочем окружении.
Частые вопросы
Можно ли исправить проблему без полной переделки?
Чаще всего да. Если сначала найти точку расхождения, достаточно локальной правки в проверке, транзакции, обработчике события, настройке или запросе к данным.
Почему ошибка появляется не у всех?
Обычно различаются роль, состояние данных, устройство, регион, способ входа, версия клиента или порядок событий. Поэтому важно получить конкретный воспроизводимый пример.
Итог
История метрик переживает перезапуск только при постоянном, правильно подключенном и контролируемом хранилище.
Если самостоятельно локализовать причину не получилось, я могу разобрать логи и код, воспроизвести ошибку, предложить безопасную правку и проверить ее на рабочем сценарии.