Нейросеть для озвучки текста: тест на естественность речи

В локализации слабое место не один модуль. Слабое место — конвейер. ASR ошибся в имени. MT переставил акцент. TTS сгладил интонацию. RVC сохранил тембр, но съел артикуляцию. Липсинк подогнал рот, но сломал мимику. Итог звучит не как дубляж. Итог звучит как сборка из независимых моделей.

Технологический фундамент: не TTS, а полный аудиоконвейер

Текстовая озвучка сама по себе — узкая задача. В продакшене она почти не встречается в чистом виде. Для видео, игр, аудиокниг и корпоративного e-learning нужен конвейер. Минимальная схема:

1. ASR. Распознавание исходной речи. Для видео это не только текст. Нужны таймкоды, сегментация по спикерам, паузы, шумы, иногда эмоции.

2. MT. Машинный перевод. Желательно с контролем длины. Реплика в дубляже должна попадать в окно времени.

3. Адаптация текста. Сокращение, замена синтаксиса, перенос акцента. Этот слой часто ручной. Автоматизация пока нестабильна.

4. TTS. Синтез целевого голоса. Односпикерный, мультиспикерный или с клонированием.

5. Voice conversion. Конверсия тембра. Часто через RVC-подобный подход, если нужен голос, похожий на оригинальный.

6. Микс. Нормализация, шумовая подложка, room tone, музыка, side-chain, мастеринг.

7. Липсинк. Для видео с крупными планами. Отдельная модель или встроенный модуль.

Whisper с 2022 года стал фактической точкой отсчета для ASR в таких пайплайнах. Не потому, что он закрывает все случаи. Потому что дал приемлемую базу для многоязычной транскрипции и таймкодирования. Но ASR не решает дубляж. Он только снижает цену входа.

Синтезаторы уровня ElevenLabs и HeyGen закрыли другой участок. Многоязычный TTS, клонирование, перенос части эмоционального диапазона. В ElevenLabs заявлена поддержка 29+ языков. Для локализации это уже не демо, а рабочая поверхность. Но число языков не равно качеству дубляжа. Русская, испанская и японская дорожки имеют разную длину фраз, разные ударения, разную плотность слога. Один и тот же TTS-движок будет вести себя по-разному.

Тест TTS модели без проверки тайминга — тест диктора, а не дубляжной системы.

Для профессионального аудио базовый технический формат остается обычным: 44,1 кГц или 48 кГц. Это не делает речь естественной. Это только не ломает последующий монтаж. Естественность появляется ниже. В просодии, дыхании, согласных, паузах, переходах между фразами.

Где синтез речи ломается первым

Плохая нейросеть озвучивает текст голосом как навигатор. Хорошая ломается тоньше. Она не ошибается в словах. Она ошибается в распределении энергии.

Типовые дефекты слышны быстро:

• Плоская просодия на длинной фразе. Модель держит один контур высоты тона. Слушатель не теряет смысл сразу, но устает через 40–60 секунд.
• Неверное ударение в редких словах. Особенно фамилии, бренды, игровые термины, техноаббревиатуры.
• Слишком чистые паузы. Нет микродыхания, нет room tone. Реплика выпадает из сцены.
• Сглаженные согласные. Вокодер убирает резкие атаки. Получается мягкая речь без артикуляционного веса.
• Провал эмоции в середине сегмента. Начало фразы уверенное, конец уходит в нейтральный TTS.
• Нестабильный тембр между чанками. При длинном аудио модель генерирует блоками. На склейках меняется спектральный баланс.
• Переигранная экспрессия. Некоторые модели компенсируют слабую семантику сильной интонацией. Для дубляжа это хуже нейтральности.

Проверять качество синтеза речи надо на материале, который конфликтует с моделью. Не на рекламном тексте. Не на коротких фразах. Нужны числа, имена, вопросительные конструкции, вставные обороты, эмоциональные развороты, тишина после реплики.

Минимальный тестовый набор для русской озвучки:

1. Нейтральный информационный абзац на 700–900 знаков. Проверяет дыхание, темп, усталость контура.

2. Диалог из 10–12 коротких реплик. Проверяет смену интонаций и паузы.

3. Фрагмент с цифрами и единицами: «48 кГц», «200 мс», «29 языков», «2023–2024 годы». Проверяет нормализацию текста.

4. Эмоциональная реплика без прямых маркеров эмоции. Проверяет семантическую просодию.

5. Технический текст с английскими терминами: zero-shot, inference, dataset, vocoder. Проверяет код-свитчинг.

6. Фраза для липсинка с короткими губными согласными: «п», «б», «м». Проверяет совпадение артикуляции на видео.

Слабые движки отпадают на пунктах 2 и 5. Средние — на пунктах 3 и 6. Сильные — на длинной стабильности и эмоциональном диапазоне.

RVC и клонирование: тембр не равен актерской игре

RVC, Retrieval-based Voice Conversion, стал стандартным практическим инструментом для конверсии голоса. Его задача проста в формулировке: взять речевой сигнал и перенести его в тембральную область целевого голоса. В реальном времени или постобработке. В дубляже это дает важный эффект. Можно синтезировать реплику одним голосом, затем привести тембр к нужной идентичности.

Но RVC не заменяет TTS. И не исправляет плохую просодию. Если исходный синтез произнесен монотонно, конверсия сохранит монотонность. Если TTS неправильно расставил ударения, RVC обычно не спасет ударение. Он меняет спектральную оболочку, а не смысловую интонацию.

Разница между тремя режимами часто теряется в описаниях сервисов. Для теста ее надо разделять.

Клонирование голоса в ElevenLabs, HeyGen и похожих системах стало достаточно пригодным для задач, где требуется сохранение тембра и части эмоционального диапазона. Для аудиокниг это критично. Один голос должен держать главу, диалог, внутреннюю речь, шепот, напряжение. Для кино и сериалов еще жестче. Там голос должен попадать в актерскую динамику, не только в спектр.

Тест на клонирование лучше делать в два прохода.

Первый проход — тембральная близость. Слушаются гласные, носовые призвуки, низкочастотная опора, сибилянты. Сравнение идет с оригиналом на одинаковом тексте или максимально близкой фразе.

Второй проход — поведенческая близость. Паузы, атака фразы, скорость реакции, спад в конце реплики. Это сложнее. Модель может точно имитировать цвет голоса и полностью промахнуться в манере речи.

Тембр продает демо. Просодия проходит монтаж.

В voice conversion есть отдельная техническая ловушка. Чем сильнее модель пытается сохранить целевой тембр, тем выше риск артефактов. Металлический хвост на согласных. Плавающий формант. Пластиковые сибилянты. На музыке и шуме это маскируется. В сухом диалоге слышно сразу.

Липсинк: аудио должно попасть в лицо

ИИ-дубляж видео нельзя оценивать только на закрытых глазах. Липсинк меняет результат. Модели вроде Wav2Lip анализируют видеоряд и подстраивают движения губ под новую аудиодорожку. Это рабочий подход для автоматической синхронизации. Но он не отменяет ограничений.

Липсинк зависит от трех входов:

• Длина переведенной реплики. Если перевод длиннее оригинала, модель может сжать темп или растянуть мимику. Оба варианта заметны.
• Фонемная структура языка. Губные согласные и открытые гласные требуют разных положений рта. Русский перевод не всегда ложится на английский видеоряд.
• Крупность плана. На общем плане допустимы расхождения. На крупном плане ошибка в 2–3 кадра уже видна.

В локализации видеоконтента самый дешевый путь — не генерация лица, а адаптация текста до синтеза. Реплика должна помещаться в окно. Если исходное английское «I know» заменено русским «Я это прекрасно понимаю», TTS и липсинк уже работают против материала. Правильная замена — «Я знаю» или «Понимаю». Семантическая потеря меньше, чем визуальный конфликт.

Оценка липсинка идет не по одному ролику. Нужны разные планы:

1. Крупный план лица. Проверяет точность губных и закрытие рта после фразы.

2. Поворот головы. Проверяет устойчивость трекинга.

3. Перебивка с частично закрытым лицом. Проверяет поведение модели при окклюзии.

4. Быстрая реплика. Проверяет сжатие фонем.

5. Пауза с мимикой. Проверяет, не продолжает ли модель двигать губы без речи.

Техническая задержка важна только в real-time сценариях. Для live TTS нормальный диапазон задержки — примерно 200–1000 мс. Для дубляжа в постпродакшене latency почти не имеет значения. Там важнее стабильность генерации и контроль таймкода. Если система генерирует 20 вариантов реплики с разной длительностью, монтажер тратит время вручную.

Метрики естественности: MOS полезен, но не закрывает задачу

MOS, Mean Opinion Score, часто используется как оценка естественности речи. Но точные показатели для разных нейросетей плохо сравнимы. Они зависят от датасета, языка, текста, слушателей, условий прослушивания. Сравнивать MOS из разных презентаций бессмысленно. Это не единая лаборатория.

Для практического теста лучше держать несколько слоев оценки.

Оценка естественности озвучки должна включать слепое прослушивание. Не для академической чистоты. Для защиты от интерфейса. Если тестировщик видит название модели, стоимость тарифа и красивый waveform, он уже смещен. Лучше выгрузить WAV, нормализовать громкость, скрыть имена движков и дать одинаковые фрагменты.

Громкость надо выровнять. Иначе более громкий файл будет казаться четче. Формат лучше держать без лишней компрессии. Для продакшена — 48 кГц WAV, если видео. Для аудиокниг допустим другой финальный формат, но тестировать лучше до кодека.

Субъективная оценка не отменяет технических замеров. Полезны:

• длительность реплики относительно исходного таймкода;
• количество ручных правок текста на минуту материала;
• число регенераций до приемлемого дубля;
• доля фраз с неверным ударением;
• стабильность тембра между сегментами;
• процент реплик, прошедших монтаж без time-stretch;
• наличие артефактов после шумоподавления и компрессии.

Последний пункт часто игнорируют. Синтез может звучать чисто до микса. После компрессии вокодерные дефекты выходят вперед. Особенно на «с», «ш», «щ», «з». На студийных мониторах это не маскируется.

Как протестировать озвучку текста на реальном материале

Тест должен имитировать продакшен. Не витрину сервиса. Нужен один и тот же набор входных данных для всех моделей.

Рабочий порядок:

1. Собрать корпус фрагментов. 8–12 клипов по 15–40 секунд. Диалог, монолог, шумная сцена, крупный план, технический текст, эмоциональная реплика.

2. Зафиксировать исходные таймкоды. Начало и конец каждой реплики. Отдельно паузы. Отдельно overlap, если спикеры говорят одновременно.

3. Сделать ASR и ручную сверку. Ошибки распознавания нельзя списывать на TTS. Их надо отделить.

4. Подготовить перевод в двух версиях. Прямой и адаптированный по длине. Это покажет, насколько модель терпит длинные фразы.

5. Сгенерировать по три варианта каждой реплики. Один seed или один режим недостаточен. Нужна вариативность.

6. Прогнать через RVC или клон только часть набора. Так видно, где ломается тембр, а где сама TTS-подача.

7. Свести в видео без ручной косметики. Иначе тест превращается в тест монтажера.

8. Отдельно оценить аудио и видео. Сначала закрытые глаза. Потом липсинк.

9. Зафиксировать трудозатраты. Минуты на правку текста, регенерацию, монтаж, чистку артефактов.

10. Сравнить не лучший фрагмент, а медиану. В продакшене важна предсказуемость.

Для TTS моделей опасен cherry-picking. Один отличный дубль ничего не значит, если на него ушло 18 регенераций. В коммерческой локализации стоимость считается не по минуте синтеза. Стоимость считается по минуте принятого материала.

Удобная таблица для тестовой ведомости:

Такой тест быстро показывает класс системы. Если сервис хорош только на чистом тексте, он подходит для дикторской озвучки. Не для дубляжа. Если выдерживает тайминг, эмоцию и липсинк, его можно ставить в пилотный пайплайн.

ASR, MT и TTS: ошибки складываются, а не усредняются

Автоматический перевод видео с озвучкой состоит из трех базовых этапов: транскрипция, перевод, синтез речи. В реальной системе между ними добавляются сегментация, диаризация, нормализация текста, контроль длительности, микс и липсинк. Но главная логика остается.

Ошибка ASR редко выглядит как фатальная. Одно имя. Один термин. Одна отрицательная частица. MT строит на этом перевод. TTS произносит уверенно. В финале получается хорошо озвученная ошибка.

Поэтому тест dubbing AI не должен начинаться с готового перевода. Иначе проверяется только TTS. Полный конвейер надо кормить исходным видео. С шумом, перебивками, музыкой, перебоями речи. Тогда видны настоящие затраты.

Есть три режима применения.

Нельзя утверждать, что ИИ полностью заменил актеров дубляжа. Для части контента это уже инструмент производства. Для сложной драматургии — ускоритель черновиков, препродакшен, временная дорожка, дополнительные языки с ограниченным бюджетом. Передача сложной драматической интонации остается проблемой. Особенно в сценах с паузами, полутоном и конфликтом между текстом и выражением лица.

Игры добавляют отдельный слой. Там реплики часто короткие, но контекст разорван. Одна фраза может звучать в бою, в меню, в катсцене. TTS без контекстного состояния произносит одинаково. Локализация игр требует метаданных: состояние персонажа, дистанция до микрофона, физическая нагрузка, окружение, приоритет реплики. Без этого синтез будет чистым, но неверным.

Аудиокниги требуют другого. Меньше липсинка. Больше выносливости. Модель должна держать час текста без тембрального дрейфа. Должна различать прямую речь и авторскую. Должна не превращать каждую реплику в отдельный спектакль. Здесь особенно виден prosody control. Если у модели нет явного управления эмоцией, паузой и стилем, говорить об эмоциональном синтезе нельзя.

Частота, latency и остальные параметры, которые легко переоценить

Частота дискретизации 44,1 кГц или 48 кГц нужна для совместимости с продакшеном. Но она не является метрикой естественности. Плохой TTS в 48 кГц остается плохим TTS. Хороший синтез, испорченный кодеком, тоже не показатель модели.

Latency важна для голосовых ассистентов, стриминга, интерактивных NPC, real-time перевода. Диапазон 200–1000 мс для real-time TTS дает ориентир. Ниже — сложнее архитектурно. Выше — уже чувствуется задержка в диалоге. Для постдубляжа задержка инференса вторична. Если модель генерирует минуту аудио за несколько минут, но дает стабильный результат с первого-второго прохода, она может быть выгоднее быстрой модели с большим процентом брака.

Практические параметры для выбора движка:

• Контроль длительности. Возможность задать целевую длину реплики или темп без грубого time-stretch.
• Управление паузами. SSML или собственная разметка. Без этого длинные сцены трудно собирать.
• Стабильность seed / повторяемость. Нужна для правок. Нельзя пересобирать всю сцену из-за одной фразы.
• Мультиспикерность. Нужна для диалогов и аудиокниг. Важно не только число голосов, но и отсутствие смешения тембров.
• Код-свитчинг. Английские термины в русском тексте должны звучать не как фонетическая авария.
• Экспорт в WAV 48 кГц. Для видео это рабочий минимум.
• Работа с длинным контекстом. Абзацы и главы не должны распадаться на независимые чанки.
• Совместимость с RVC. Синтез должен оставлять достаточно артикуляционной информации для конверсии.
• Права и consent на голос. Юридические аспекты зависят от юрисдикции, но технический тест без учета прав не имеет производственной ценности.

Последний пункт не про моральную лекцию. Это часть пайплайна. Если голос нельзя использовать коммерчески, вся точность клона не имеет значения. Правовой режим клонированных голосов различается по странам и договорам. Универсального технического обхода нет.

Сухая схема приемки

Для пилота достаточно 30–45 минут исходного материала и 5–7 целевых голосов. Меньше — мало данных. Больше — дорого до первичного отсечения.

Приемка должна дать не оценку «нравится». Нужны статусы:

1. Годен без правки. Реплика идет в монтаж.

2. Годен после текстовой адаптации. Проблема в длине или формулировке.

3. Годен после регенерации. Модель способна дать приемлемый дубль, но нестабильна.

4. Годен после ручного аудиомонтажа. Проблема в паузах, дыхании, стыках.

5. Не годен. Ошибка тембра, смысла, эмоции или липсинка.

После разметки считается не средний балл, а распределение. Если 60% реплик требуют регенерации, движок дешевым не будет. Если 20% реплик требуют ручного липсинка, автоматизация сомнительна. Если все ошибки связаны с переводом, менять TTS бессмысленно. Надо чинить MT и адаптацию.

Финальная оценка нейросети для озвучки текста в локализации держится на четырех числах: процент принятых реплик с первого прохода, среднее число регенераций, время ручной правки на минуту финального аудио, доля сцен с проблемным липсинком. Все остальное — описание симптомов.

Сильная TTS модель звучит естественно не в демо, а в грязном пайплайне. После ASR. После перевода. После RVC. После компрессии. В крупном плане. На длинной сцене. Если система выдерживает эти условия, ее можно использовать в дубляже. Если нет, она остается генератором дикторских дорожек. Это другой продукт и другая экономика.