Не нажимайте «повторить для всех», пока парк уже разделён между двумя версиями. Сначала получите снимок по каждому target: какая версия реально запущена после последней загрузки, получил ли он задание, скачал ли artifact и какой код вернул. Иначе повтор может обновить здоровые устройства и снова обойти именно те, которым не хватает места, питания или совместимого образа.
Статус общей кампании скрывает распределение. Даже completed job может включать разные terminal states отдельных executions, а сообщение об успешной установке не доказывает, что устройство перезагрузилось в нужный slot. Истиной становится инвентарная телеметрия после reboot: firmware version, image digest, boot slot и boot reason.
Карта парка начинается с одной строки на устройство
device_id: meter-042
hardware_revision: rev-c
current_version: 4.7.1
target_version: 4.8.0
job_id: ota-2026-10-04-a
job_state: IN_PROGRESS
step: verify_signature
last_error: signature_key_unknown
last_seen: 2026-10-04T20:41:12Z
battery_percent: 82
free_storage_mb: 36
reported_image_digest: sha256:example-redactedНе включайте secret, полный серийный номер или персональные данные владельца в рабочую выгрузку. Для анализа достаточно технического device ID. Сгруппируйте строки по hardware revision, исходной версии, региону, каналу связи и error code: один доминирующий признак обычно быстрее указывает на несовместимый artifact или условие установки.
Последний подтверждённый этап задаёт следующую проверку
| Последний этап | Что это означает | Следующий вопрос |
|---|---|---|
| Targeted, но нет QUEUED | Устройство не попало в execution list | Правильна ли группа и snapshot/continuous targeting |
| QUEUED | Задание создано, устройство его не начало | Online ли клиент и подписан ли на job notifications |
| IN_PROGRESS без download | Клиент принял работу, но не получил artifact | URL, TLS, DNS, срок ссылки и свободное место |
| Downloaded, verify failed | Биты пришли, проверка не прошла | Digest, подпись, trust key и model compatibility |
| Installed, version старая | Запись выполнена, boot не подтвердил образ | Boot slot, rollback reason и watchdog |
| SUCCEEDED, telemetry старая | Control plane и inventory расходятся | Когда и чем device подтверждает running version |
AWS IoT Jobs различает QUEUED, IN_PROGRESS и terminal states вроде SUCCEEDED, FAILED и TIMED_OUT. Переход в SUCCEEDED сообщает само устройство. Поэтому statusDetails полезно заполнять этапом и кодом, но backend всё равно сверяет reported firmware после запуска приложения.
Rollout останавливается по заранее записанным условиям
- Выпустить artifact с digest, подписью и явной матрицей совместимых hardware revisions.
- Начать с небольшой canary-группы, в которой есть основные варианты железа и связи.
- Сравнить install success, reboot success, rollback, battery и ключевые продуктовые метрики.
- Расширять скорость только после стабильного окна наблюдения.
- Остановить выдачу новым устройствам при достижении оговорённого failure или timeout criterion.
- Разбирать уже начатые executions отдельно; abort кампании не обязан откатить установленный образ.
AWS позволяет отдельно настроить rollout, abort, timeout и retry. Это четыре разных рычага: скорость не заменяет критерий остановки, timeout не исправляет несовместимость, а retry нужен только для ошибок, которые действительно могут исчезнуть. Проценты и размер canary выбираются по риску конкретного устройства, а не копируются из чужой кампании.
Повтор безопасен только после классификации ошибки
- Transient download timeout можно повторить с тем же artifact и ограниченным retry budget.
- Недостаток storage требует освобождения места или меньшего образа, а не бесконечных попыток.
- Signature failure блокирует установку до исправления key chain или artifact.
- Hardware mismatch исключает устройство из target и ведёт к отдельной сборке.
- Rollback после reboot требует чтения bootloader reason и health check новой версии.
- Offline-устройства остаются отдельной когортой с expiry: устаревшую прошивку нельзя выдавать спустя месяцы автоматически.
Если устройство могло потерять питание во время записи, процедура восстановления определяется bootloader и схемой A/B slots. Нельзя обещать универсальный rollback одной серверной кнопкой. Зафиксируйте поддерживаемый путь для каждой hardware revision и протестируйте его на стенде с намеренным обрывом питания.
Кампания завершена после сверки с inventory, а не по зелёному баннеру
Посчитайте целевой парк, исключённые устройства и каждую terminal category так, чтобы сумма сходилась. Для выбранной выборки перезагрузите устройства повторно и убедитесь, что версия и digest не откатываются. Отдельно проверьте функциональный health signal: новая строка версии при неработающем датчике не является успешным обновлением.
Для разбора подготовьте job ID, artifact digest, матрицу hardware revisions, распределение execution states и пять обезличенных statusDetails для каждого крупного кода ошибки. Этого достаточно, чтобы решить: возобновлять rollout, выпускать новый образ или переводить отдельную модель в ручное восстановление.