Неверный язык часто выбирается до появления первого слова транскрипта. Сервис подаёт в language detector начало файла с музыкой, тишиной или одной короткой междометной фразой, получает случайного лидера и затем декодирует весь разговор с этим условием. Запишите отдельный результат language ID и тот фрагмент, на котором он принят.
Если язык известен из профиля, очереди или маршрута звонка, передайте поддерживаемый language code явно. Автоопределение нужно для действительно неизвестного входа; оно не должно снова спорить с достоверными данными продукта. Для неизвестного аудио ограничьте список только реалистичными кандидатами и предусмотрите статус «не уверен».
Сбой раскладывается на четыре решения
| Признак | Вероятный этап | Следующий тест |
|---|---|---|
| language ID неверен до transcription | detector/input window | прослушать именно выбранный speech interval |
| ID верен, текст похож на другой язык | ASR model/task | проверить model и transcribe/translate |
| ошибка только на коротких репликах | недостаток речи | объединить соседний контекст или задать язык |
| смешанный разговор имеет один язык | file-level decision | определять язык по segment/channel |
| все файлы стали English | English-only model/config | сверить variant и параметр language |
Не оценивайте только красивый итоговый текст: модель способна построить грамматичную, но неверную гипотезу. Нужны original audio, выбранное окно, код языка, распределение вероятностей или score, задача recognition/translation и версия модели.
Заставка не должна голосовать за весь разговор
Перед language ID отделите речь от тишины и фоновой музыки, но не обрезайте первые слова агрессивным VAD. Для подкаста с англоязычной заставкой и русским разговором решение по первому окну закономерно будет смещено. Возьмите несколько чистых речевых участков и сравните результаты, а не удлиняйте случайный музыкальный фрагмент.
Whisper при отсутствии параметра language определяет язык по фрагменту до декодирования; в текущей реализации transcribe используется до первых 30 секунд подготовленного mel segment. Это конкретное поведение Whisper, а не правило для любого ASR. Другие сервисы публикуют собственные минимальные условия и ограничения.
Список кандидатов должен отражать продукт
Автоопределитель, которому разрешены десятки близких языков, решает более сложную задачу, чем нужно локальному сервису. Google Cloud рекомендует сокращать список language codes; AWS предупреждает, что при отсутствии истинного языка среди options выберет ближайший и построит неточный transcript. Ограничение полезно только если в список действительно входит язык входа.
- Известен один язык — передать его явно.
- Ожидаются два-три языка — разрешить только их и логировать выбранный.
- Язык неизвестен — сохранять несколько кандидатов и порог продукта.
- Диалект важен — не подменять задачу dialect recognition общим language ID.
Не придумывайте универсальный confidence threshold. Выберите его на размеченной выборке вашего аудио: телефон, студия, улица, разные длительности и акценты. Ниже порога можно попросить язык у пользователя или прогнать ограниченное число ASR-кандидатов и сравнить независимым критерием.
Whisper позволяет увидеть распределение, а не только победителя
import whisper
model = whisper.load_model('turbo')
audio = whisper.load_audio('sample.wav')
audio = whisper.pad_or_trim(audio)
mel = whisper.log_mel_spectrogram(audio, n_mels=model.dims.n_mels).to(model.device)
_, probs = model.detect_language(mel)
for code, score in sorted(probs.items(), key=lambda item: item[1], reverse=True)[:5]:
print(code, round(score, 4))
# Если язык известен:
# whisper sample.wav --language Russian --task transcribeВ рабочем журнале достаточно top-N codes, модели, длительности speech и ID задания. Не сохраняйте приватное аудио бессрочно. Также различайте transcribe и translate: перевод в английский — отдельная задача, а не доказательство неверного language ID.
Приёмочная выборка включает сложные границы
- Чистая длинная речь на каждом поддерживаемом языке.
- Короткая команда после тишины и фоновой музыки.
- Название бренда на другом языке внутри основной речи.
- Два языка в одном файле и по одному на разных каналах.
- Шумный файл без достаточной речи с ожидаемым uncertain/reject.
Исправление считается устойчивым, когда known-language путь больше не запускает detector, неизвестный путь хранит объяснимый выбор, а смешанная речь обрабатывается по заявленной модели — dominant language, segments или channels. Для разбора подготовьте обезличенные короткие отрывки с правами на обработку, ожидаемый язык, candidate scores, параметры модели и границы speech interval.