Пустой прошлый период в Grafana ещё не означает, что Prometheus удалил историю. Сначала замените относительное Last 24 hours на абсолютные даты с timezone, откройте Query inspector и сохраните фактические start, end, step, выражение и выбранный data source.
Затем выполните тот же range query напрямую к источнику. Если samples приходят, проблема находится в панели, переменных или преобразованиях Grafana. Если источник тоже пуст, ищите смену labels, retention, другой tenant либо разрыв сбора.
Проверка идёт от экрана к диску
| Слой | Контрольная проверка | Что означает пустой ответ |
|---|---|---|
| Dashboard | Абсолютный UTC-интервал | Ошибка периода или timezone |
| Panel | Override relative time и time shift | Панель смотрит не туда, куда dashboard |
| Query | Inspector: expression, step, variables | Подставился другой label либо слишком крупный шаг |
| Data source | Тот же query_range напрямую | Источнику нечего вернуть |
| Storage | Самая старая sample и retention flags | История удалена или находится в другом хранилище |
Работайте с одной известной series, а не со всем dashboard. Например, возьмите host и job из сегодняшней точки и проверьте, существовала ли эта комбинация labels до переименования сервиса.
Относительный период превращаем в точные timestamps
Grafana поддерживает относительные и абсолютные time ranges, а отдельная панель может иметь собственный Relative time или Time shift. Ссылка с from=now-7d меняется каждую минуту; для расследования запишите ISO-время начала и конца и явно отметьте browser timezone или UTC.
- Сбросить zoom панели и временные overrides.
- Проверить dashboard timezone и локальный переход времени.
- Зафиксировать значения template variables.
- Убедиться, что панель обращается к ожидаемому data source UID.
- Сравнить запрос успешного часа с запросом пустого часа.
Query inspector снимает спор с визуализацией
curl -G "https://prometheus.example/api/v1/query_range" \
--data-urlencode 'query=up{job="api"}' \
--data-urlencode 'start=2026-10-01T00:00:00Z' \
--data-urlencode 'end=2026-10-01T01:00:00Z' \
--data-urlencode 'step=60s'Адрес и даты в примере условные. Для защищённого источника используйте штатный способ аутентификации, не вставляя рабочий token в shell history. В ответе важны status, число series, labels и диапазон timestamps; график для этой проверки не нужен.
Retention проверяется на самом Prometheus
Prometheus управляет локальной историей через --storage.tsdb.retention.time и --storage.tsdb.retention.size. Официальная документация указывает: если оба ограничения не заданы, retention time по умолчанию равен 15 дням; при size limit старые blocks удаляются первыми. Проверяйте фактические flags запущенного процесса, а не старый compose-файл.
После уменьшения retention уже удалённые blocks не возвращаются от увеличения значения. Восстановление возможно только из snapshot, backup или внешнего long-term storage, если они были настроены заранее. Не копируйте отдельные каталоги TSDB в работающий Prometheus без процедуры восстановления.
Смена labels похожа на потерю истории
После релиза job="backend" мог стать job="api", instance — pod IP, а environment — env. Запрос с текущим selector не найдёт старую series, хотя данные лежат на месте. Посмотрите label names и values на старом интервале более широким безопасным запросом, затем объедините периоды только осознанно.
Похожий эффект дают переменная с includeAll, regex после переименования и datasource, переключённый на другой cluster или tenant. Сохранённый dashboard JSON помогает увидеть изменение, но пароли и secureJsonData в диагностический пакет не включают.
Критерий исправления — одна и та же точка двумя путями
- Выбрать timestamp и series, которые должны существовать.
- Получить sample прямым query_range из data source.
- Получить ту же sample через панель без transformations.
- Вернуть переменные и преобразования по одному.
- Проверить самый ранний доступный день и сверить его с retention.
- Сохранить dashboard version и доказательство результата.
Что передать инженеру
Нужны абсолютный UTC-интервал, dashboard и panel UID, datasource UID без credentials, выражение после подстановки переменных, step, JSON-ответ query_range для одной series и фактические retention flags. Такой набор показывает точный слой потери данных и не требует экспортировать весь мониторинг.