SSML в TTS API: какие решения годны для интонации
Поддержка SSML в TTS API различается по глубине. Azure AI Speech, Amazon Polly и Google Cloud TTS принимают базовую разметку для пауз, просодии и произношения. Провайдерные стили работают в отдельном контуре. OpenAI Speech не разбирает SSML.

У ElevenLabs поддерживается только часть разметки.
Для продакшена значение имеет не сам тег, а полная цепочка: XML-парсер, синтетический движок, выбранный голос и тип endpoint. Поддержка базового <prosody> может работать в одной модели и игнорироваться в другой. Сравнение API нужно строить по этим слоям.
Что именно даёт SSML
Фраза «API поддерживает SSML» объединяет четыре разные способности:
1. Разбор разметки. API принимает корректный XML и не принимает неизвестные конструкции.
2. Интерпретация тега. <break> создаёт паузу, <prosody> меняет параметры речи, <phoneme> задаёт фонетическое чтение.
3. Совместимость с голосом. Выбранный voice или модель учитывает соответствующий тег.
4. Совместимость с режимом. Streaming, batch, long-form и real-time endpoint могут иметь разные ограничения.
Основные SSML-теги для облачного синтеза речи:
| Тег | Управляемый параметр | Переносимость | Ограничение |
|---|---|---|---|
<break> | Пауза, её длительность или относительная сила | Высокая | Формат времени и допустимые значения зависят от API |
<prosody> | Темп, высота тона, громкость | Средняя | Параметры задают относительное поведение, а не точную акустическую траекторию |
<phoneme> | Произношение отдельного фрагмента | Средняя | Поддерживаемые фонетические алфавиты различаются |
<say-as> | Чтение чисел, дат, валют, телефонов и идентификаторов | Средняя | Семантика привязана к языку и локали |
<sub> | Замена сокращения или термина на произносимый вариант | Высокая | Подставляется текстовая строка, а не произношение |
<lang>, xml:lang | Язык фрагмента или документа | Средняя | Смена языка внутри одной речи может менять темп и интонационные границы |
| Стилевые теги | Эмоция, шёпот, разговорная подача | Низкая | Привязка к конкретному провайдеру, голосу и engine |
<prosody> часто воспринимают как полноценный регулятор интонации. На практике API преобразует значения в внутренние acoustic hints. Заданный pitch не означает фиксированную частоту основного тона в герцах. rate сокращает или увеличивает длительность речевых сегментов, но точка перехода между словами может измениться.
SSML задаёт класс просодического поведения, а не траекторию основного тона в герцах.
Точный оттенок зависит также от обучающих данных голоса, языка, длины фразы и соседних предложений. Поэтому одинаковый SSML у Azure, Polly и Google может дать разный результат. Переносимость обеспечивают прежде всего break, базовый prosody, phoneme, say-as и sub. Стили требуют отдельного профиля.
Корневой элемент обычно <speak>. Для Azure требуется корректное XML-пространство имён. Amazon Polly принимает TextSsml, Google Cloud TTS — поле ssml. Входы text и ssml обычно взаимоисключающие. Смешивать текст и готовую XML-разметку в одном поле не следует.
Сравнение API по управлению интонацией
| Решение | Поле ввода | Основной SSML | Расширенный контроль | Практическая граница |
|---|---|---|---|---|
| Azure AI Speech | ssml | break, prosody, phoneme, say-as, sub | mstts:express-as, named styles, custom lexicons | Стили доступны только у поддерживающих их голосов |
| Amazon Polly | TextSsml | Расширенный базовый набор SSML | amazon:effect, amazon:emotion, amazon:domain, механизмы словарей | Возможности зависят от engine, voice и режима синтеза |
| Google Cloud TTS | ssml | break, prosody, phoneme, say-as, sub | В основном возможности голоса и языка | Набор тегов и их трактовка зависят от voice и locale |
| ElevenLabs | text | Документированное подмножество SSML | Pronunciation dictionaries, голосовые настройки | Переносимый SSML-контракт отсутствует |
| OpenAI Speech | input | Полноценный SSML не поддерживается | Выбор голоса и текстовые instructions | Теги нельзя использовать как команды синтеза |
Azure AI Speech
Azure даёт наиболее плотный набор средств управления для сценариев с фиксированной драматургией. Базовые SSML-теги работают с XML-разметкой, а mstts:express-as подключает именованный стиль голоса. Набор стилей привязан к конкретной neural voice. Попытка назначить стиль неподдерживаемому голосу требует fallback-политики.
Отдельный custom lexicon полезен для повторяющихся брендов, аббревиатур и имён. Он снимает необходимость вставлять <phoneme> в каждое вхождение. Для диалоговой озвучки Azure удобен возможностью развести текст, паузу, локальную просодию и стиль реплики по разным сегментам.
Слабое место — смешение уровней управления. Изменение rate внутри стилевой реплики может менять результат сильнее, чем сама директива стиля. Каждую комбинацию voice, style, language и набор тегов нужно тестировать отдельно.
Amazon Polly
Polly давно используется в production-пайплайнах с длительной пакетной озвучкой. API принимает TextSsml и поддерживает расширенный базовый набор разметки. Провайдерские теги amazon:effect, amazon:emotion и amazon:domain позволяют менять характер речи без отдельного текстового описания.
Поддержка эффектов зависит от engine и voice. Стандартный, neural и long-form маршруты могут вести себя по-разному. Словари произношения также связаны с конкретным синтетическим ресурсом. Инлайновый <phoneme> в основном запросе не создаёт тот же словарь, что и отдельный lexicon object.
Для документальной озвучки, аудиокниг и пакетного выпуска Polly остаётся предсказуемым вариантом. Для эмоционального диалога необходимо отдельно проверить, не конфликтуют ли amazon:*, prosody и параметры самого голоса.
Google Cloud TTS
Google Cloud TTS принимает базовую SSML-разметку через отдельное поле ssml. Набор включает управление паузами, темпом, высотой тона, фонетическим чтением, интерпретацией чисел и подстановкой альтернативных вариантов.
Здесь нет отдельного универсального слоя стилей, сопоставимого с Azure или Amazon. Основная регулировка идёт через сам голос, locale и базовые теги. phoneme, say-as и языковые переключения требуют проверки на конкретной модели: часть вариантов чтения зависит от языка и поддерживаемых голосов.
Для коротких озвучек, IVR и системных сообщений API даёт достаточный контроль без сложной адаптации. Для сценариев, где стиль реплики задаётся формально, лучше использовать специализированный speech endpoint с явным набором стилей.
ElevenLabs и OpenAI Speech
ElevenLabs принимает разметку в поле text, но поддерживает документированное подмножество SSML. Набор следует сверять для конкретного endpoint и модели. Для повторяющихся терминов в API есть pronunciation dictionaries. Они часто эффективнее частных фонетических вставок.
Если внутренний формат проекта требует стабильного SSML, ElevenLabs следует подключать через собственный renderer и fallback. Передача тегов в общем виде создаёт зависимость от изменений в конкретной модели.
OpenAI Speech работает с обычным текстом. Параметры voice и instructions меняют подачу, но не превращают текст в SSML. Если LLM генерирует XML-подобные теги, их необходимо удалить до запроса. Иначе возможен буквальный прогнос разметки либо непредсказуемая нормализация.
Поддержка SSML, равная только базовым тегам, подходит для пауз и произношения. Стилизованная интонация требует отдельного голосового профиля.
Какие задачи решаются разными API
| Задача | Предпочтительный кандидат | Основание | Ограничение |
|---|---|---|---|
| FAQ, IVR, короткие системные реплики | Google Cloud TTS или Azure | Предсказуемые break, say-as, базовая просодия | Ограниченный набор стилей у Google |
| Диалог с разными эмоциями | Azure AI Speech | Named styles, mstts:express-as, отдельные custom lexicons | Стили фильтруются по голосу |
| Длинная пакетная озвучка | Amazon Polly или Google Cloud TTS | Стабильный SSML, предсказуемые engine | Нужны отдельные тесты long-form и словарей |
| Экспрессивная речь с гибким разметочным слоем | ElevenLabs | Разговорные модели, словари произношения | Поддерживается только часть SSML |
| Простая озвучка без тегов | OpenAI Speech | Текстовый вход, выбор голоса, инструкции по стилю | SSML недоступен |
| Термины и имена собственной речи | Azure, Polly или ElevenLabs | Custom lexicon или pronunciation dictionary | Словарь нужно привязать к voice и locale |
Если продукт работает с несколькими провайдерами, выбор одного API на уровне документа не покрывает интеграцию. Потребуется общий протокол и несколько адаптеров.
Архитектура интеграции
1. Внутренняя модель синтеза. Источником истины служит представление с текстом, паузами, параметрами просодии, фонетическими правилами и идентификатором стиля. XML каждого провайдера формируется из него отдельным renderer.
2. Профиль провайдера. В профиле хранятся поддерживаемые теги, допустимые значения, доступные стили, voice mapping и режим endpoint. Профиль версионируется вместе с кодом. Изменение модели без обновления профиля способно изменить подачу.
3. Экранирование данных. Пользовательский текст вставляется только как текстовое содержимое. Символы &, < и > кодируются как XML-сущности. Пользовательские данные не должны попадать в имена тегов или значения атрибутов.
4. Ограниченный fallback. Поддерживаются два режима. В строгом неподдерживаемый тег вызывает ошибку. В совместимом тег удаляется, а голос продолжает генерацию. Сырые неизвестные теги в API не отправляются.
5. Безопасное разбиение. Streaming-пайплайн не разрывает <prosody>, <phoneme> и другие контейнеры. Границы выбираются по предложениям и смысловым блокам. Пауза, расположенная на границе chunk, может потеряться.
6. Кэш и телеметрия. Ключ кэша включает текст, итоговый SSML, voice, model, locale и версию профиля. В логи сохраняются хэш разметки, длительность ответа, TTFB, фактические паузы и число удалённых тегов. Сырые SSML с персональными данными требует редактирования.
Надёжная интеграция хранит намерение синтеза: паузу, просодию, словарь и стиль. Готовый SSML конкретного API остаётся производным форматом.
Контроль качества интонации
Тестовый корпус собирается из реальных сообщений продукта. В него входят числа, даты, валюты, сокращения, имена, URL, email, длинные фрагменты без знаков препинания, вложенная разметка, смешение языков и пустые текстовые узлы.
Каждый тест сравнивается с базовым синтезом без SSML. Фиксируются:
- длительность выдачи и TTFB;
- реальные интервалы тишины;
- изменение темпа относительно baseline;
- появление пиков и клиппинг;
- ошибки ASR-распознавания;
- отклонения в произношении терминов;
- поведение при переносе между chunks.
Для генеративных голосов нельзя использовать побайтовое сравнение WAV как основной критерий. Подходящие метрики — длительность, огибающая пауз, clipping и ASR-детектор. Финальную прослушку проводят в штатном моно-миксе и на бытовых устройствах. При выборе устройства для прослушивания помогает разбор кодеков и автономности беспроводных наушников. Bluetooth-кодек меняет спектральное восприятие, поэтому параметры просодии проверяют также через измеримые метрики.
Автоматизация фиксирует регрессии XML, длительности и пауз. Темп, высота тона и естественность фразы остаются в зоне ручного контроля. Каждое изменение SSML-профиля проходит полный corpus regression.
Итог
Для управления интонацией через SSML в TTS API наиболее предсказуемы Azure AI Speech, Amazon Polly и Google Cloud TTS. Azure даёт richest control для диалогов и стилей. Polly удобен расширенным набором тегов, эффектов и пакетной озвучкой. Google покрывает базовые задачи без сложной адаптации.
ElevenLabs подходит, когда SSML используется частично, а приоритет у разговорной подачи и словарей произношения. OpenAI Speech выбирают для текстового сценария без требований к разметке.
Годный production-вариант требует зафиксированного voice, явного профиля тегов, безопасного renderer, fallback-политики и регрессионного корпуса. Только такой набор даёт воспроизводимое управление интонацией.