Возьмите одну пропущенную фразу и сохраните короткий фрагмент исходного файла с несколькими секундами до и после неё. Сначала убедитесь, что samples действительно присутствуют, затем измерьте уровень по каждому каналу и посмотрите, попал ли интервал в сегмент, отправленный модели. Если VAD вырезал участок, настройка распознавания не вернёт отсутствующие байты.

Не поднимайте громкость всего файла наугад. Когда голос находится рядом с noise floor, усиление увеличивает и речь, и фон; отношение сигнал/шум почти не меняется. Нормализованная копия полезна как диагностический A/B-вариант, но оригинал сохраняется неизменным.

Три версии одной фразы локализуют потерю

ПроверкаЕсли фраза появиласьВывод
исходник без VADдасегментация или trim удаляли участок
исходник с обычной сегментациейнетпроверить уровень, канал и decoder
нормализованная копия без VADдамодель чувствительна к уровню/шуму этого фрагмента
моно-микс вместо одного каналаданеверно выбран канал
ни один вариантнетвозможны язык, модель, сильный шум или отсутствующая речь

Сравнение выполняют с одинаковой моделью, языком и параметрами декодирования. Иначе невозможно понять, какое изменение помогло. Результат оценивают не общим впечатлением, а наличием контрольных слов и сохранением соседних фраз.

Astats показывает уровень и фон по каналам

FFmpeg `astats` сообщает RMS, peak, dynamic range и noise floor для каналов и всего сигнала. Измеряйте только интересующий интервал, потому что среднее по часовому файлу скроет короткую тихую реплику. Отдельно проверьте, не записан ли собеседник только в правом канале, который preprocessing случайно отбросил.

ffmpeg -ss 00:12:40 -t 20 -i input.wav -af astats=metadata=1:reset=1 -f null -

control_window=00:12:47.200..00:12:50.800
channel=2
rms_level_db=-41.8
noise_floor_db=-52.1
vad_segment_present=false
transcript_contains_control_phrase=false
  • Сохранять sample rate, число каналов и фактический codec на входе worker.
  • Не сравнивать dBFS разных фрагментов без одинаковой методики окна.
  • Не объявлять любое значение ниже фиксированного порога тишиной для всех записей.
  • Не отправлять пользовательское аудио во внешние инструменты без разрешённого процесса.

Silencedetect — измеритель, а не готовый VAD модели

Фильтр `silencedetect` отмечает интервалы ниже заданного noise threshold в течение заданной duration. Это удобно, чтобы проверить гипотезу о ранней нарезке. Но распознаватель может использовать другой VAD и признаки, поэтому одинаковый числовой порог переносить напрямую нельзя. Запишите параметры именно того компонента, который создал сегменты.

Особенно опасен `silenceremove`: агрессивные start/stop thresholds способны физически удалить тихие окончания. Для диагностики сначала выключите удаление и сохраните границы с padding. Если фраза возвращается, уменьшайте порог или увеличивайте запас вокруг речи на тестовом наборе, контролируя рост ложных сегментов.

Нормализация проверяется на копии и без clipping

`loudnorm` реализует нормализацию по EBU R128 и поддерживает одно- и двухпроходный режим; для файлов воспроизводимее двухпроходная обработка с измеренными параметрами. Альтернативная динамическая нормализация может поднять тихие участки, но также меняет фон. Сравните true peak и не допускайте clipping.

  1. Измерить исходный фрагмент и сохранить показатели.
  2. Создать диагностическую копию с документированными параметрами.
  3. Прогнать обе версии через одинаковый ASR без trim.
  4. Сравнить контрольные слова, соседний текст и ложные вставки.
  5. Включать preprocessing в production только после набора разных записей.

Приёмка проходит на наборе тихих и обычных реплик

Соберите обезличенный тестовый корпус: тихая речь на чистом фоне, тихая речь с вентилятором, разные каналы, окончания перед паузой и обычные громкие фразы. Для каждого примера сохраните эталонные интервалы. Изменение считается полезным, если возвращает пропуски и не ухудшает заметно соседнюю речь либо число ложных срабатываний.

В production наблюдайте долю аудио, отброшенного VAD, распределение RMS входа и случаи пустой транскрипции, не записывая сами разговоры в общий лог. Для разбора нужны версия модели, параметры сегментации, sample rate/channels и короткий разрешённый контрольный фрагмент; полный разговор и персональные данные передаются только по утверждённой процедуре.

Проверенные источники