Пустой прошлый период в Grafana ещё не означает, что Prometheus удалил историю. Сначала замените относительное Last 24 hours на абсолютные даты с timezone, откройте Query inspector и сохраните фактические start, end, step, выражение и выбранный data source.

Затем выполните тот же range query напрямую к источнику. Если samples приходят, проблема находится в панели, переменных или преобразованиях Grafana. Если источник тоже пуст, ищите смену labels, retention, другой tenant либо разрыв сбора.

Проверка идёт от экрана к диску

СлойКонтрольная проверкаЧто означает пустой ответ
DashboardАбсолютный UTC-интервалОшибка периода или timezone
PanelOverride relative time и time shiftПанель смотрит не туда, куда dashboard
QueryInspector: expression, step, variablesПодставился другой label либо слишком крупный шаг
Data sourceТот же query_range напрямуюИсточнику нечего вернуть
StorageСамая старая sample и retention flagsИстория удалена или находится в другом хранилище

Работайте с одной известной series, а не со всем dashboard. Например, возьмите host и job из сегодняшней точки и проверьте, существовала ли эта комбинация labels до переименования сервиса.

Относительный период превращаем в точные timestamps

Grafana поддерживает относительные и абсолютные time ranges, а отдельная панель может иметь собственный Relative time или Time shift. Ссылка с from=now-7d меняется каждую минуту; для расследования запишите ISO-время начала и конца и явно отметьте browser timezone или UTC.

  • Сбросить zoom панели и временные overrides.
  • Проверить dashboard timezone и локальный переход времени.
  • Зафиксировать значения template variables.
  • Убедиться, что панель обращается к ожидаемому data source UID.
  • Сравнить запрос успешного часа с запросом пустого часа.

Query inspector снимает спор с визуализацией

curl -G "https://prometheus.example/api/v1/query_range" \
  --data-urlencode 'query=up{job="api"}' \
  --data-urlencode 'start=2026-10-01T00:00:00Z' \
  --data-urlencode 'end=2026-10-01T01:00:00Z' \
  --data-urlencode 'step=60s'

Адрес и даты в примере условные. Для защищённого источника используйте штатный способ аутентификации, не вставляя рабочий token в shell history. В ответе важны status, число series, labels и диапазон timestamps; график для этой проверки не нужен.

Retention проверяется на самом Prometheus

Prometheus управляет локальной историей через --storage.tsdb.retention.time и --storage.tsdb.retention.size. Официальная документация указывает: если оба ограничения не заданы, retention time по умолчанию равен 15 дням; при size limit старые blocks удаляются первыми. Проверяйте фактические flags запущенного процесса, а не старый compose-файл.

После уменьшения retention уже удалённые blocks не возвращаются от увеличения значения. Восстановление возможно только из snapshot, backup или внешнего long-term storage, если они были настроены заранее. Не копируйте отдельные каталоги TSDB в работающий Prometheus без процедуры восстановления.

Смена labels похожа на потерю истории

После релиза job="backend" мог стать job="api", instance — pod IP, а environment — env. Запрос с текущим selector не найдёт старую series, хотя данные лежат на месте. Посмотрите label names и values на старом интервале более широким безопасным запросом, затем объедините периоды только осознанно.

Похожий эффект дают переменная с includeAll, regex после переименования и datasource, переключённый на другой cluster или tenant. Сохранённый dashboard JSON помогает увидеть изменение, но пароли и secureJsonData в диагностический пакет не включают.

Критерий исправления — одна и та же точка двумя путями

  1. Выбрать timestamp и series, которые должны существовать.
  2. Получить sample прямым query_range из data source.
  3. Получить ту же sample через панель без transformations.
  4. Вернуть переменные и преобразования по одному.
  5. Проверить самый ранний доступный день и сверить его с retention.
  6. Сохранить dashboard version и доказательство результата.

Что передать инженеру

Нужны абсолютный UTC-интервал, dashboard и panel UID, datasource UID без credentials, выражение после подстановки переменных, step, JSON-ответ query_range для одной series и фактические retention flags. Такой набор показывает точный слой потери данных и не требует экспортировать весь мониторинг.

Проверенные источники