Несколько CSV нельзя надёжно объединить простым склеиванием строк. В них могут отличаться порядок колонок, разделитель и правила кавычек; внутри одного поля бывают переносы строк. Сначала составьте список входных файлов и сравните их шапки. Если схема отличается, остановите сборку до явного сопоставления полей.

Определите смысл объединения: добавить все записи или убрать повторяющиеся объекты. Это разные операции. Два одинаковых по виду заказа могут быть самостоятельными событиями, а один заказ может прийти в двух выгрузках. Для удаления дублей нужен бизнес-ключ, а для обычного соединения достаточно сохранить все строки и их происхождение.

Шапка задаёт договор между источниками

РазличиеРешение
Поля те же, порядок другойсопоставлять по именам
Поле отсутствуетотклонить файл или согласовать пустое значение
Лишняя колонкасохранить в новой схеме или явно отклонить
Одинаковые названия колонокотклонить неоднозначную шапку

Не переименовывайте поля по похожести автоматически. price и total могут иметь разный смысл; пустое количество не всегда равно нулю. Зафиксируйте целевую схему и правила для каждого источника. В manifest — списке входов — сохраните имя, контрольную сумму файла, число разобранных записей и версию правила сопоставления.

Минимальный пример сохраняет строки как строки

# Python 3.14, условные входы с одной схемой
import csv
inputs = ['part-a.csv', 'part-b.csv']
fields = ['id', 'name', 'amount']
with open('combined-new.csv', 'x', encoding='utf-8', newline='') as out:
    writer = csv.DictWriter(out, fieldnames=fields)
    writer.writeheader()
    for path in inputs:
        with open(path, encoding='utf-8-sig', newline='') as source:
            reader = csv.DictReader(source, delimiter=',')
            if reader.fieldnames != fields:
                raise ValueError(f'Unexpected schema: {path}')
            for row in reader:
                if None in row or any(v is None for v in row.values()):
                    raise ValueError(f'Invalid row: {path}')
                writer.writerow(row)

Это пример строгого соединения двух UTF-8-файлов с одинаковым порядком полей, без удаления дублей и преобразования чисел. Режим x не перезаписывает существующий результат. При отказе остаётся неполный новый файл: его нельзя выдавать потребителю. Для рабочего процесса сначала создавайте отдельный временный артефакт, а публикуйте только после итоговой проверки.

Python рекомендует открывать CSV с newline=""; reader обычно возвращает строки без автоматического преобразования типов. Сохраняйте идентификаторы с ведущими нулями и не разбирайте запись через split по запятой. RFC 4180 описывает кавычки для полей с запятыми и переносами строк, но реальный dialect каждого поставщика всё равно требуется установить отдельно.

Повторный запуск не должен включать собственный результат

  1. Получить явный список входов до начала записи.
  2. Исключить выходной и временный файлы из этого списка.
  3. Проверить шапку и число полей каждого входа.
  4. Записать результат с одной шапкой.
  5. Повторно прочитать результат и сверить число записей с manifest.

Не считайте записи по физическим строкам: перенос внутри кавычек занимает несколько строк файла. Для простого соединения ожидаемое число записей равно сумме разобранных входов. Если включено удаление дублей, отдельно отчитайте число исключённых записей и ключи конфликтов; исчезновение строк без объяснения неприемлемо.

Публикуем проверенный файл, исходники оставляем

Два параллельных запуска должны писать в разные временные пути и не подменять результат друг друга. Версию входного manifest привяжите к версии выхода. Если один источник обновляется во время чтения, используйте согласованный снимок файла, иначе повтор операции не воспроизведёт прежнюю выборку.

Откат возвращает предыдущий опубликованный артефакт, а исходники остаются неизменными. Для настройки объединения достаточно двух обезличенных файлов, целевой схемы, определения дубля и ожидаемого числа записей. Такой пример показывает, требуется ли простое соединение, сопоставление колонок или отдельная процедура разрешения конфликтов.

Проверенные источники