kodnado.ru/articles
↻

Статьи

Короткие разборы по сайтам, ботам, скриптам, серверу и автоматизации. Без академичности: только то, что помогает быстрее понять задачу и принять решение.

2272 материаловРазборы по сайтам, ботам, API, серверам и автоматизации

Отчёт показал чужой филиал: закрываем доступ в API, модели и базе данных

Как расследовать и устранить межфилиальную утечку в BI: зафиксировать инцидент, проверить effective identity, запретить доступ по умолчанию, внедрить row-level security и протестировать обх...

BI, row-level security, авторизация, изоляция филиалов Читать статью →

Foreign key останавливает импорт: загружаем граф данных без отключения целостности

Что делать с нарушениями foreign key при массовой загрузке: найти orphan rows, построить порядок таблиц, использовать staging или deferrable constraints и проверить связи до публикации данн...

PostgreSQL, foreign key, импорт данных, целостность Читать статью →

Импорт сохранил только последнее состояние: восстанавливаем историю без выдуманных дат

Как перенести историю изменений, а не только текущие строки: инвентаризация источников, модель valid time и system time, стабильный event ID, идемпотентная загрузка и проверка временной шка...

ETL, история изменений, CDC, SCD Type 2 Читать статью →

Как сверить source и target после миграции: от counts к списку конкретных расхождений

Практическая автоматическая сверка баз после миграции: согласовать snapshot, сравнить схему и counts по диапазонам, посчитать канонические row hashes, сохранить mismatch manifest и повторно...

data migration, validation, reconciliation, ETL Читать статью →

ClickHouse читает всю таблицу по дате: смотрим granules до добавления индекса

Почему WHERE по дате не сокращает чтение ClickHouse: проверить реальный тип выражения, PARTITION BY и левую часть ORDER BY через EXPLAIN indexes=1, затем выбрать новый порядок, projection и...

ClickHouse, primary index, EXPLAIN, date filter Читать статью →

Товар обновился, а Redis-кеш нет: закрываем окно между commit и invalidation

Как убрать устаревшую карточку товара после записи в базу: составить карту cache keys, удалять после commit, учесть локальные кеши и потерю Pub/Sub, добавить TTL и тест гонки read-before-de...

Redis, cache invalidation, cache-aside, consistency Читать статью →

Повтор gRPC-запроса создаёт дубль: связываем request_id с результатом операции

Как защитить gRPC-команду от дублей после timeout и retry: принять request_id, сравнить payload hash, атомарно сохранить business result, вернуть прежний ответ на повтор и проверить crash в...

gRPC, idempotency, request_id, retry Читать статью →

GraphQL-схема без /v2: добавляем поле, измеряем использование и удаляем старое

Как развивать GraphQL-схему без нового endpoint: добавлять совместимое поле, помечать старое @deprecated, измерять реальные operations, проверять schema diff и удалять только после доказанн...

GraphQL, schema evolution, deprecation, API compatibility Читать статью →

Миграция данных упала на середине: checkpoint, идемпотентный upsert и сверка перед resume

Как сделать перенос данных возобновляемым: фиксировать checkpoint только после commit, читать стабильными диапазонами, выполнять идемпотентный upsert, хранить ошибки отдельно и сверять исто...

ETL, data migration, checkpoint, idempotency Читать статью →

Слияния ClickHouse съедают диск: считаем parts, резервы и write amplification

Как диагностировать нехватку диска во время ClickHouse merges: сравнить free_space и unreserved_space, найти крупные system.merges и активные parts, остановить источник мелких вставок и не ...

ClickHouse, MergeTree, merges, disk space Читать статью →

Redis-ключи живут вечно: находим потерянный TTL без KEYS и исправляем запись

Как найти Redis-ключи без срока жизни, не блокируя production: читать TTL через SCAN, отличать -1 от -2, обнаружить SET без EX/KEEPTTL и безопасно вернуть expiration по namespace.

Redis, TTL, SCAN, cache Читать статью →

gRPC-Gateway вернул не тот HTTP-код: отделяем RPC status, routing и override

Как найти источник неожиданного HTTP-кода в gRPC-Gateway: сравнить исходный gRPC status, routing error и custom handler, проверить unary и stream отдельно и закрепить mapping контрактными т...

gRPC-Gateway, gRPC status, HTTP errors, API contract Читать статью →