Артефакты синтеза речи: как выявить искажения при сжатии аудио

Нейровокодер восстанавливает волну с собственными фазовыми и спектральными ошибками, а кодек с потерями затем удаляет часть сигнала по психоакустической модели.

Артефакты синтеза речи при сжатии аудио поэтому нужно искать во всей цепочке, а не только в файле на выходе TTS. Проверка включает исходный рендер, настройки кодирования, спектрограмму и сравнение с эталоном. Одного прослушивания для технического аудита недостаточно.

Механика конфликта: нейровокодер и психоакустический кодек

Нейронные вокодеры, включая HiFi-GAN и MelGAN, строят звуковую волну по мел-спектрограмме. На выходе остаются особенности восстановления сигнала: фазовые артефакты, алиасинг и локальные неровности гармонической структуры. В несжатом файле они могут быть слабо заметны. При повторном кодировании часть этих особенностей вступает во взаимодействие с алгоритмом кодека.

MP3, Opus и AAC применяют психоакустическое маскирование и адаптивное квантование в частотной области. Кодек оценивает, какие компоненты можно удалить или представить с меньшей точностью, не ухудшив восприятие на заданном битрейте. Для обычной речи это обычно работает приемлемо. Для синтезированного сигнала исходные дефекты могут изменить распределение энергии и повлиять на решение кодека о том, какие частоты считать маскируемыми.

Так возникают искажения звука после TTS, которые трудно привязать к одному этапу. Вокодер мог сформировать нестабильные высокие гармоники. Кодек мог их квантовать или удалить. На слух результат проявится как изменение тембра, хотя сам TTS-движок использовался в исходной конфигурации.

В первую очередь стоит исключить ошибки пайплайна. Если сигнал несколько раз переводится между форматами с потерями, каждый проход заново квантирует частотные компоненты. Ресемплинг, нормализация и изменение громкости сами по себе не равны сжатию, но в цепочке обработки способны затруднить сравнение версий. Для аудита нужны сохранённый исходник TTS и файл после каждого этапа.

Практический порядок фиксации прост:

1. Сохранить исходный рендер без потерь и записать частоту дискретизации, разрядность и параметры генерации.

2. Экспортировать копию через целевой кодек с известным битрейтом.

3. Сравнивать версии с выровненной громкостью и одинаковым фрагментом речи.

4. Если используется повторное кодирование, сохранять промежуточные файлы, а не только финальный результат.

Если дефект слышен только после экспорта, проверять нужно не одну модель TTS, а всю цепочку кодирования.

Частотные ограничения: Opus против MP3

Битрейт влияет на то, сколько информации кодек может сохранить. При низком значении потери становятся более агрессивными. У MP3 на средних битрейтах типичный срез спектра приходится примерно на 16 кГц. Для речи это не всегда сразу заметно: разборчивость может сохраниться, хотя воздушность тембра и часть высокочастотных деталей уже потеряны.

Для Opus условная граница акустической прозрачности находится в районе 190–200 кбит/с. Для MP3 она составляет около 250 кбит/с. Это ориентиры, а не гарантия одинакового результата на любом голосе и материале. Свойства синтезированного сигнала, настройки энкодера и содержание фрагмента меняют итог.

Opus часто используют для передачи речи при ограниченной полосе. Базовый ориентир в 48 кбит/с встречается в голосовых сценариях, но сам по себе он не означает прозрачность. На сверхнизких битрейтах Opus тоже может сглаживать фонемы и придавать голосу роботизированный оттенок. Влияние кодеков на качество синтеза определяется конкретными настройками, а не названием формата.

Сравнивать кодеки корректно на одном и том же исходном сигнале. Нужно оставить неизменными уровень громкости, длительность, частоту дискретизации и участок речи. Иначе результат смешает несколько факторов: например, потери спектра и разницу в уровнях сигнала.

При прослушивании полезно отдельно проверять шипящие, свистящие, короткие согласные и окончания слов. Эти участки часто показывают, как кодек обращается с высокочастотной энергией и быстрыми изменениями спектра. При этом отсутствие очевидного дефекта на слух не доказывает, что спектр сохранён: часть нарушений маскируется.

Спектрограмма: что искать в файле

Спектрограмма помогает локализовать дефекты, которые неочевидны в обычном прослушивании. Для первичного анализа подойдут Audacity или iZotope RX. Окно анализа в 2048 сэмплов — распространённая отправная точка для частотного просмотра речи. Размер окна влияет на компромисс между частотным и временным разрешением: при поиске коротких событий полезно проверять, не теряются ли они из-за выбранных настроек анализа.

На спектрограмме сжатого файла стоит искать:

• Полочный срез в верхней части спектра. Резкое снижение энергии после определённой частоты может указывать на ограничение полосы.
• Провалы в гармониках и формантах. Если энергия исчезает локально, тембр может стать тоньше или менее устойчивым.
• Пре-эхо. Энергия появляется перед транзиентом, хотя в исходнике такой структуры нет. Этот эффект проще искать около резких согласных и других коротких событий.
• Изменение рисунка высокочастотных компонентов. Это помогает заметить, что после кодирования голос стал менее детальным, даже если основная частота и разборчивость сохранились.

Оценка спектрограмм синтезированной речи требует сопоставления исходника и сжатой копии. Отдельная картинка без эталона не отвечает на вопрос, где именно возник дефект. Нужно смотреть один и тот же фрагмент, с одинаковыми параметрами визуализации. Автомасштабирование цветов между файлами способно скрыть разницу или создать ложное впечатление о ней.

Спектрограмма показывает распределение энергии, но не заменяет прослушивание. По ней можно увидеть срез или провал, однако нельзя напрямую определить, насколько изменение заметно человеку. Обратное тоже верно: слуховая оценка выявляет неприятный оттенок, но не всегда объясняет его источник.

Для локализации достаточно сравнить три версии: исходный WAV, файл после первого кодирования и финальный файл из production-пайплайна. Если артефакт появился уже после первого прохода, искать причину в последующей обработке бессмысленно. Если он возникает только после повторного экспорта, внимание нужно перенести на повторное сжатие, ресемплинг и порядок операций.

Метрики качества: PESQ, POLQA и ViSQOL

Субъективное прослушивание зависит от наушников, уровня воспроизведения, слуха и условий сравнения. Для автоматизированной оценки используют метрики, сопоставляющие тестовый сигнал с эталонным. К ним относятся PESQ, POLQA и открытая метрика ViSQOL. Они рассчитывают оценку, связанную со шкалой MOS от 1 до 5.

PESQ принят как стандарт ITU-T P.862 в 2001 году. POLQA описан стандартом ITU-T P.863, принятым в 2011 году; редакция POLQA v3 вышла в 2018 году. В январе 2024 года PESQ исключили из официального каталога ITU. Это меняет статус стандарта, но не превращает численную оценку в универсальную характеристику качества любого синтезированного голоса.

Метрики особенно полезны при сравнении вариантов одного пайплайна: разных битрейтов, кодеков или настроек экспорта. Для этого требуется эталонный сигнал, соответствующий тестовой версии по содержанию и длительности. Если сравниваются разные фразы или различается тайминг, итоговая оценка смешивает искажения кодека с расхождениями исходного материала.

Практическая схема оценки состоит из нескольких этапов:

1. Взять исходный рендер TTS как эталон.

2. Сопоставить его с файлом после кодирования, учитывая возможную задержку и изменение длительности.

3. Рассчитать одну или несколько метрик, сохранив версию инструмента и параметры обработки.

4. Прослушать фрагменты с худшими оценками и проверить их спектрограммы.

5. Сравнить результаты на одном корпусе фраз, а не делать вывод по единственному примеру.

Число MOS удобно для сводного мониторинга, но оно не указывает, какой компонент пайплайна создал дефект. Низкая оценка может быть связана с фазовыми нарушениями, спектральным срезом, временным рассогласованием или самой особенностью сравнения. Метрика помогает отследить изменение между версиями. Диагноз требует анализа сигнала.

Фаза, алиасинг и повторная обработка

Нейровокодер восстанавливает волну из представления, которое не сохраняет все детали исходного звучания. В результате возможны фазовые артефакты и алиасинг. При повторном сжатии кодек обрабатывает уже сформированную структуру. В отдельных сочетаниях дефекты могут усиливаться и давать металлический или водянистый призвук.

Важен порядок операций. Сначала стоит сохранять мастер-файл без потерь, затем выполнять единственное кодирование в целевой формат. Если промежуточный этап уже записал аудио с потерями, последующий экспорт не вернёт удалённые компоненты. Он добавит новые потери поверх прежних. Такой каскад усложняет анализ: на финальном файле виден суммарный эффект, а не отдельный вклад каждого прохода.

Потеря тембра при конвертации аудио может проявиться и при смене формата без очевидного изменения разборчивости. Голос остаётся понятным, но шипящие звучат мягче, форманты теряют детали, а короткие переходы становятся сглаженными. В таких случаях сравнение одного численного показателя недостаточно. Нужны спектр, метрика и контрольное прослушивание.

Для рабочего аудита достаточно зафиксировать набор параметров:

• исходную модель и версию вокодера;
• формат мастер-файла и частоту дискретизации;
• кодек, битрейт и число проходов сжатия;
• наличие ресемплинга и изменения уровня;
• участок речи, на котором обнаружен дефект;
• результаты спектрального сравнения и выбранных метрик.

Этот набор не требует сложной инфраструктуры. Он делает воспроизводимым сам поиск причины. Без него повторный запуск может дать другой результат из-за изменившихся настроек, а команда будет сравнивать несопоставимые файлы.

Артефакты сжатия в нейросетевой озвучке нельзя надёжно оценить одной прослушкой или одной метрикой. Для диагностики достаточно сочетать контролируемый экспорт, спектрографический анализ с окном 2048 сэмплов, объективную оценку и прослушивание проблемных участков. Если мастер хранится без потерь, а кодирование выполняется один раз, источник деградации локализовать проще. Это и есть практический критерий качества пайплайна.