Если свободная память уменьшается всё время, пока устройство без сети, остановите неконтролируемую запись раньше, чем разбирать MQTT-брокер. Зафиксируйте число локальных записей, занятые байты, возраст самой старой записи и скорость поступления новых данных. Затем поставьте временный безопасный предел, при котором остаётся место для журналов, обновления прошивки и штатного запуска.
У очереди должны быть три независимые границы: количество сообщений, суммарный объём и срок хранения. Один лимит по числу не защищает от крупного payload, а один TTL не спасает, если сеть пропала на час и датчик создаёт сотни записей в секунду. Когда предел достигнут, прошивка обязана выполнить заранее выбранную политику, а не продолжать писать до ошибки файловой системы.
Сначала определите, где именно копятся данные
| Признак | Вероятное место | Что измерить |
|---|---|---|
| Flash занята даже после перезагрузки | Persistent queue устройства | Размер раздела, число записей, oldest timestamp |
| RAM растёт только до reboot | Буфер процесса или MQTT-библиотеки | Heap, pending tokens, размер payload |
| После reconnect приходит старый поток команд | Session state брокера | Client ID, Session Expiry, подписки и возраст |
| Очередь не уменьшается при хорошем канале | Нет подтверждения или drain медленнее входа | PUBACK, retry count, publish rate |
| Измерения отправляются повторно | Запись удаляется не по завершению QoS flow | Message ID, sequence и момент удаления |
Локальная очередь исходящих измерений и очередь брокера для отключённого подписчика — разные механизмы. MQTT 5 хранит session state после разрыва только при ненулевом Session Expiry Interval; отдельный Message Expiry Interval ограничивает жизнь публикации. Эти параметры не очищают произвольную базу или ring buffer, который реализован в вашей прошивке.
Бюджет памяти считают по фактической записи
record_bytes = payload + topic + timestamp + sequence + checksum + storage_overhead
write_rate_bytes_per_hour = record_bytes * samples_per_hour
required_bytes = write_rate_bytes_per_hour * offline_hours * safety_factor
Проверка:
- сериализовать 1000 настоящих записей без секретов
- записать их в тестовый раздел тем же кодом
- сравнить занятые байты до и после
- разделить разницу на 1000Не подставляйте длину JSON из редактора: файловая система, индекс, выравнивание, checksum и metadata увеличивают запись. Safety factor нужен для служебных операций и разброса payload, но его значение выбирают по измерению конкретного устройства. Отдельно проверьте ресурс flash: частая перезапись одного сектора может стать проблемой раньше, чем закончится общий объём.
Разные сообщения требуют разных правил потери
| Класс | Когда очередь полна | Почему |
|---|---|---|
| Текущее значение температуры | Заменить более старое значение того же датчика | Для текущего состояния важнее свежесть |
| Минутный агрегат | Хранить ограниченное окно и отмечать пропуск | История полезна, но не бесконечна |
| Аварийное событие | Резервировать отдельный лимит | Событие нельзя растворить в телеметрии |
| Команда на исполнитель | Не складывать как обычную телеметрию | Просроченная команда может быть опасна |
| Debug log | Отбрасывать первым или хранить кольцевым буфером | Диагностика не останавливает основную функцию |
Удаление oldest подходит только там, где старое значение действительно потеряло смысл. Для бухгалтерского счётчика, тревоги или команды нужна другая семантика: уникальный sequence, дедупликация на приёмнике, подтверждение обработки и заметный счётчик dropped records. Молчаливое отбрасывание превращает нехватку памяти в невидимую потерю данных.
QoS не заменяет управление очередью
QoS 1 означает повтор до PUBACK и допускает повторную доставку; приложение-получатель должно переносить дубликаты. QoS 2 добавляет handshake, но не решает, сколько суток устройство должно копить измерения. QoS 0 можно выбрать для быстро устаревающей телеметрии, если бизнес действительно допускает потерю, — это решение уровня данных, а не способ скрыть переполнение.
В Eclipse Paho параметры disconnected buffer задают его включение, размер, persistence и удаление старых сообщений. Конкретные значения и доступность зависят от языка и версии клиента. На брокере Mosquitto лимиты max_queued_messages и max_queued_bytes относятся к исходящей очереди на клиента; они не ограничивают собственный flash-буфер датчика.
После reconnect очередь выпускают дозированно
- Дождаться успешного CONNACK и подтверждения актуального времени устройства.
- Отправить короткий статус: размер backlog, возраст oldest и число отброшенных записей.
- Чередовать свежую телеметрию и историю, чтобы текущее состояние не ждало.
- Ограничить число in-flight сообщений и скорость drain по возможностям канала.
- Удалять локальную запись только после завершения выбранного подтверждения.
- При повторном разрыве продолжить с подтверждённой позиции, а не с начала файла.
Если устройство создаёт 10 записей в секунду, а после восстановления отправляет только 8, backlog никогда не исчезнет. Нужен drain rate выше текущего write rate либо агрегация старых данных. Ограничение важно и в другую сторону: мгновенный выпуск суточной очереди способен занять uplink, вызвать watchdog или переполнить уже брокерную очередь.
Контрольный обрыв доказывает, что предел работает
На отдельном стендовом устройстве отключите сеть дольше расчётного окна. Наблюдайте верхнюю границу памяти, dropped-by-class, перезагрузку у заполненного буфера и восстановление после reconnect. Успех — память перестаёт расти на заданной отметке, важные события сохраняются согласно политике, текущие значения не ждут завершения всей истории, а принимающая сторона не создаёт дубликаты бизнес-событий.
Для разбора подготовьте версию прошивки и MQTT-библиотеки, схему разделов, средний и максимальный размер записи, частоту измерений, QoS, Session Expiry, Message Expiry и график publish/PUBACK. Не прикладывайте сертификаты и ключи устройства. По этим данным можно отличить утечку heap от нормального backlog и подобрать лимит без догадок.