Если два apply уже идут против одного state, не запускайте третий plan и не снимайте блокировку ради скорости. Определите владельца lock, backend, workspace и commit каждого процесса. Один writer должен закончить запись; второй — дождаться блокировки либо быть остановлен до изменения ресурсов.

State locking защищает запись состояния, но только когда оба процесса используют один backend с поддержкой locking. Локальный tfstate у каждого разработчика, разные workspace или отключённый -lock=false превращают два запуска в независимых авторов одной инфраструктуры.

Временная шкала показывает вид гонки

МоментЗапуск AЗапуск BРиск
T0Читает state v20Ещё не запущенНет конфликта
T1Начинает менять сетьЧитает тот же v20План B уже устаревает
T2Пишет state v21Меняет сервер по старому плануОблако и ожидания расходятся
T3ЗавершёнПишет собственный результатЧасть bindings может быть потеряна

Даже если оба процесса завершились зелёным статусом, это не доказывает целостность. Провайдер мог выполнить внешнее изменение до конфликта записи state. Нужна проверка нового plan относительно общей актуальной версии.

Lock обязан быть общим для всех путей запуска

Terraform автоматически блокирует state для операций записи, если backend это поддерживает, и прекращает работу при неудаче получения lock. HashiCorp прямо не рекомендует отключать защиту через -lock=false. Remote backend выбирают не только как хранилище файла, но и как единый coordination point команды.

# Один и тот же backend/workspace во всех jobs
terraform init -input=false

# Ждём занятый state ограниченное время, а не обходим lock
terraform plan -lock-timeout=5m -out=tfplan

# Apply запускается только из сериализованной очереди CI
terraform apply -lock-timeout=5m tfplan

Команды иллюстрируют ожидание lock, но не заменяют очередь CI. Между plan и apply другой канал всё ещё может внести изменение, поэтому production-run должен быть связан с конкретным review и исполняться там, где конкурирующие jobs для этого state сериализованы.

Force-unlock применяется только к мёртвому владельцу

У stale lock сначала находят run ID, процесс и журнал backend. Если владелец ещё меняет ресурсы, force-unlock создаст двух writer. Документация Terraform ограничивает команду собственным lock после сбоя автоматического unlock и требует уникальный lock ID — это предохранитель, а не способ ускорить очередь.

  • Проверить, завершился ли процесс, которому принадлежит lock.
  • Сохранить lock metadata и журналы interrupted run.
  • Убедиться, что новый apply не стартовал другим каналом.
  • Снять только подтверждённо осиротевший lock с его ID.
  • После unlock сначала получить и просмотреть новый plan.

После столкновения сверяем три состояния

Сравните конфигурацию из принятого commit, bindings в remote state и реальные ресурсы через read-only API провайдера. terraform plan помогает увидеть drift, но не нажимайте apply автоматически: удаление или замена после гонки может быть корректным выводом Terraform из некорректной исходной картины.

Прямое редактирование JSON state почти никогда не является первым шагом. Для подтверждённого неверного binding используют документированные state-команды или import с резервной копией backend, отдельным change review и единственным writer. Секреты из state в тикет не копируют.

Очередь строится вокруг state, а не репозитория

Два разных репозитория могут управлять одним workspace, а один monorepo — десятками независимых states. Ключ concurrency должен соответствовать backend + workspace или иному уникальному state ID. Локальные production apply запрещают политикой либо направляют в ту же удалённую очередь.

  1. Отправить две тестовые jobs на один sandbox state.
  2. Увидеть, что вторая ожидает, а не запускает provider calls.
  3. Остановить первую и проверить автоматическое освобождение lock.
  4. Смоделировать stale lock без реальных изменений и отработать runbook.
  5. Запустить plan после очереди и получить отсутствие неожиданных изменений.
  6. Проверить, что отдельный state выполняется параллельно без блокировки.

Данные для разбора инцидента

Подготовьте backend type, workspace, версии Terraform и providers, commits обоих запусков, временную шкалу, lock metadata и оба плана без sensitive values. Этого достаточно, чтобы установить точку расхождения и выбрать import, повторный plan или ручное восстановление конкретного ресурса.

Проверенные источники