Голосовые движки GPT-4o и ElevenLabs: сравнение задержек и качества синтеза

Для GPT-4o через Realtime API приводится сквозной цикл «голос — голос» в диапазоне 300–500 мс. Это разные замеры: первый описывает часть работы синтезатора, второй включает путь от входящей речи до начала аудиоответа.

Для разработчика важен не рекордный показатель в таблице, а то, что именно он измеряет и какие звенья остаются за его пределами. TTS можно оценивать отдельно, но задержку ассистента приходится измерять в составе всей системы: вместе с распознаванием, генерацией ответа, передачей аудио и воспроизведением на клиенте.

Архитектурные различия: end-to-end S2S против каскадного пайплайна

GPT-4o через Realtime API работает с аудио напрямую: принимает речь и генерирует аудиоответ. Такой подход называют Speech-to-Speech, или S2S. В отличие от классического каскада, здесь не требуется отдельно соединять распознавание речи, текстовую модель и TTS-сервис. Уменьшается число отдельных компонентов и переходов между ними, хотя итоговая задержка всё равно зависит от сети, настроек сессии и поведения модели.

ElevenLabs в рассматриваемом сценарии выступает как TTS-движок: на вход поступает текст, на выходе формируется аудио. Чтобы построить на его основе голосового ассистента, к нему нужно добавить распознавание входящей речи и генерацию ответа. Например, система может выглядеть так:

1. STT-движок распознаёт реплику пользователя.

2. LLM формирует текст ответа.

3. ElevenLabs синтезирует этот текст в речь.

В каскаде у каждого компонента собственное время обработки и свои сетевые расходы. При этом задержки не всегда просто складываются в виде трёх фиксированных чисел: потоковая передача, частичная генерация текста и ранний запуск синтеза могут перекрывать часть работы. Итог зависит от того, ждёт ли TTS весь ответ целиком или получает его по мере генерации, как настроена передача аудио и насколько быстро пользовательский клиент начинает воспроизведение.

В оценках для типичного каскада приводится полный диапазон порядка 800–1200 мс, а для GPT-4o Realtime встречается диапазон 300–500 мс. Эти значения полезны как ориентир для конкретных конфигураций, но не доказывают, что всякая система с отдельными STT, LLM и TTS обязательно будет медленнее. Хорошо спроектированный потоковый каскад может вести себя иначе, чем последовательная обработка, в которой каждый сервис ждёт полного завершения предыдущего.

TTFB синтезатора отвечает на вопрос, как быстро появился первый аудиобайт. Пользовательский опыт начинается раньше: с момента, когда человек закончил говорить и ждёт реакции.

Главное архитектурное различие здесь не сводится к скорости одного сервиса. S2S объединяет обработку речи и генерацию аудио в одном контуре. Каскад оставляет компоненты раздельными: его проще собирать из уже выбранных сервисов, заменять отдельные части и отдельно настраивать распознавание, языковую модель и голос. За эту модульность приходится платить дополнительной интеграционной работой, а иногда и задержкой между этапами.

Метрики задержки: что именно измеряется

В сравнениях голосовых API встречаются показатели, которые описывают разные участки обработки. Если поставить их в одну колонку без оговорок, можно получить впечатляющее, но малоинформативное сравнение.

TTFB (Time to First Byte) показывает время от отправки запроса на TTS-сервис до получения первого байта ответа. Для ElevenLabs Flash v2.5 и v4 Turbo приводится медианное значение порядка 75–100 мс. Это показатель серверного этапа, а не время, через которое пользователь услышит ответ. До воспроизведения аудио остаются сеть, буферизация и работа клиента.

TTFA (Time to First Audio) описывает время до первого воспроизводимого аудиофрагмента. Для ElevenLabs приводятся независимые замеры в диапазоне 190–255 мс. На разницу с TTFB могут влиять транспорт и буферизация, но переносить эти числа на любую инфраструктуру нельзя: маршрут до сервиса, способ подключения и настройки воспроизведения меняют результат.

Сквозная задержка голосового диалога измеряется от конца реплики пользователя до начала воспроизведения ответа. Для GPT-4o Realtime API указывают диапазон 300–500 мс при работе через WebRTC или WebSocket. Для каскада STT + LLM + ElevenLabs в исходных ориентирах приводится 800–1200 мс. Это сравнение имеет смысл только при одинаковом определении начала и конца замера. Если один тест стартует с конца уже распознанного текста, а другой включает захват и обработку речи, значения нельзя считать сопоставимыми.

Транспорт тоже вносит вклад. В измерениях Azure OpenAI Realtime API для WebRTC приводится задержка около 100 мс. Это наблюдаемое значение, а не постоянная величина: на неё влияют сеть, расстояние до точки подключения и условия конкретного запроса. WebSocket и WebRTC также нельзя считать взаимозаменяемыми во всех конфигурациях только потому, что оба используются для обмена аудио.

Разница между приведёнными диапазонами может быть заметна в разговоре с частыми короткими репликами. Но сама по себе таблица не говорит, какой стек окажется быстрее в конкретном продукте. Для этого нужно замерять одинаковый сценарий: один и тот же аудиовход, сопоставимую длину ответа, одинаковые условия сети и одну точку, в которой фиксируется начало воспроизведения.

Если в каскаде модель сначала генерирует весь текст, а затем отправляет его на синтез, ожидание будет одним. Если текст поступает частями и TTS начинает работу до завершения ответа LLM, другое. Поэтому сравнение TTS API по latency отвечает только на вопрос о поведении TTS-слоя. Для оценки ассистента нужен бенчмарк голосовых API реального времени, который охватывает весь путь запроса.

Качество синтеза, интонации и кастомизация голоса

Задержка не описывает, насколько голос подходит продукту. Важны тембр, произношение, интонации и предсказуемость результата. Но утверждать, что одна из платформ объективно звучит лучше другой, без сопоставимого теста нельзя. Открытых слепых сравнений GPT-4o Realtime Audio и ElevenLabs v4 Turbo на русском языке с одинаковыми сценариями и условиями в рассматриваемой фактуре нет.

Системные и пользовательские голоса

В GPT-4o Realtime API доступен фиксированный набор системных голосов: alloy, echo, shimmer, ash, ballad, coral, sage и verse. Голос можно описывать инструкциями модели, задавая желаемую манеру речи. Но это не то же самое, что прямое клонирование конкретного человека. Пользовательское клонирование через Realtime API ограничено, и получить брендированный голос по короткому образцу в свободном режиме нельзя.

У ElevenLabs выбор строится иначе: доступны предустановленные голоса и варианты клонирования. В числе инструментов платформы есть Instant Voice Cloning и Professional Voice Cloning. Для первого указываются короткие образцы, обычно порядка 1–3 минут; для профессионального варианта рекомендуется более продолжительный материал, около 30 минут чистой записи. Эти значения описывают ориентиры для работы с голосом, а не гарантию одинакового результата при любом качестве исходника.

Клонирование расширяет возможности кастомизации, но добавляет требования к исходному аудио и правам на его использование. Шум, разная дистанция до микрофона, посторонние голоса и неодинаковая манера чтения могут мешать модели воспроизводить устойчивый тембр. Для коммерческого продукта важно также иметь согласие человека, чей голос используется, и продумать защиту от несанкционированного клонирования.

Flash v2.5 заявляет поддержку 32 языков. Это может быть удобно для проектов, которым нужна многоязычная озвучка, но само число языков не гарантирует одинаковое качество произношения для каждого из них. Языковые особенности, имена, аббревиатуры и смешение языков лучше проверять на собственных примерах.

Управление подачей

В ElevenLabs доступны параметры синтеза, среди них stability, similarity_boost, style и use_speaker_boost. Они дают разработчику отдельные регуляторы для настройки результата. Набор параметров полезен, когда нужно получить воспроизводимую подачу или управлять тем, насколько свободно голос меняет интонацию. Конкретный эффект зависит от голоса и модели, поэтому параметры стоит оценивать на нескольких фразах, а не по одной демонстрационной реплике.

В GPT-4o Realtime характер речи задаётся инструкцией модели. Это позволяет описать темп, эмоциональную окраску и общую манеру, однако такой подход отличается от отдельных числовых настроек синтезатора. Повторяемость поведения между сессиями нужно проверять в выбранной конфигурации: текстовая инструкция не становится гарантией неизменной интонации для каждой фразы.

Для объективного сравнения метрик качества синтеза речи OpenAI и ElevenLabs одного прослушивания недостаточно. В тест стоит включать короткие ответы и длинные фразы, числа, имена, аббревиатуры, вопросы и реплики с разной эмоциональной окраской. Отдельно полезно оценить разборчивость и естественность на том языке, на котором будет работать продукт. Это не заменяет слепой пользовательский тест, но помогает не принимать решение по одной удачной демонстрации.

Экономика: аудиотокены против символьного биллинга

У платформ разные модели тарификации. OpenAI Realtime считает аудиотокены, ElevenLabs TTS в рассматриваемом сценарии тарифицируется по числу символов текста. Поэтому сравнение «дороже или дешевле» без объёма, длины реплик и выбранных моделей будет слишком широким выводом.

OpenAI Realtime API

В приведённых ценовых ориентирах для модели gpt-realtime-2.1 указана тарификация $32 за миллион входных аудиотокенов и $64 за миллион выходных аудиотокенов. При кэшировании диалога ориентир стоимости активной минуты голосового взаимодействия составляет около $0,06–$0,11. В этом контуре оплачивается не только озвучивание: система обрабатывает входящую речь и формирует ответ.

Итоговая сумма зависит от продолжительности активного разговора, доли речи пользователя и ассистента, настроек и применяемого кэширования. Поэтому цену минуты нельзя безоговорочно переносить на любой звонок. В продукте с длинными паузами и короткими ответами структура расхода может отличаться от разговора, в котором пользователь и ассистент говорят почти непрерывно.

ElevenLabs API

Для ElevenLabs в приведённых ориентирах указаны такие ставки:

• Flash v2.5 / Turbo v2.5: $0,05 за 1000 символов.
• Модели Multilingual v2 / v3 / v4: $0,10 за 1000 символов.

Если ответ ассистента содержит 150–300 символов, синтез одной реплики по указанным ставкам обойдётся примерно в $0,0075–$0,015 для Flash и $0,015–$0,03 для линейки Multilingual. Это только стоимость TTS. В голосовом ассистенте к ней прибавляются расходы на распознавание входящей речи и генерацию текста, если эти задачи выполняют отдельные сервисы.

Один сценарий для сравнения

Возьмём условный диалог продолжительностью 10 минут активного разговора: около 40 реплик, в среднем по 250 символов в ответе ассистента. В этом примере объём синтезируемого текста составляет примерно 10 000 символов.

Для этого сценария сравнение показывает, что у ElevenLabs нельзя считать только строку TTS: к ней нужно прибавить распознавание и генерацию. Но и из этих расчётов не следует, что полный каскад практически всегда дороже Realtime API. Стоимость LLM и STT зависит от выбранных моделей и объёма обработки, а итоговая цена меняется вместе с длиной ответов, временем разговора и долей активной речи.

Для пакетной озвучки или дубляжа картина другая. Если на входе уже есть готовый текст, отдельные STT и LLM могут не понадобиться. Тогда символьная тарификация становится удобной для планирования, а сравнивать её нужно с ценой именно того решения, которое способно выполнить такую задачу, а не с полной стоимостью голосового диалога.

Цена одного слоя не равна цене всей системы. Для ассистента считайте распознавание, генерацию и синтез вместе; для озвучки готового текста не прибавляйте услуги, которые проекту не нужны.

Практический выбор архитектуры для голосовых ассистентов

GPT-4o Realtime API подходит для сценариев, где важен цельный голосовой диалог и хочется сократить число отдельных интеграций. S2S может дать короткий сквозной цикл, но порог менее 500 мс нельзя считать исключительной возможностью этой архитектуры. Результат зависит от всей реализации, а не только от названия модели.

Такой вариант стоит рассматривать, если:

• пользователь должен разговаривать с ассистентом, а не отправлять ему готовый текст;
• фиксированный набор системных голосов подходит задаче;
• удобнее поддерживать единый Realtime-контур, чем связывать несколько API;
• проекту не требуется собственный голос, созданный на основе образца конкретного человека.

ElevenLabs логичнее рассматривать, когда задача начинается с готового текста или требует отдельного управления голосом. Это может быть озвучка контента, дубляж, брендированный голос или TTS-слой в системе, где STT и LLM уже выбраны. Доступность клонирования и параметров синтеза даёт больше способов настраивать голос, но не доказывает превосходство по естественности или качеству звучания. Это нужно проверять на материалах конкретного проекта.

Практический выбор может быть таким:

• Диалоговый ассистент в реальном времени. Сравните Realtime API и потоковый каскад на одинаковых репликах. Замеряйте не только ответ сервера, но и время до первого слышимого аудио.
• Озвучка и дубляж. Сопоставляйте голоса, произношение и работу с нужным языком. Если текст готов, стоимость STT и LLM в расчёт не включайте.
• Брендированный голос. Проверьте доступные способы кастомизации и требования к образцу. Заранее предусмотрите согласие на использование голоса и контроль доступа к его клону.
• Существующий стек STT и LLM. Считайте задержку всей цепочки. Потоковая передача текста в TTS может изменить результат относительно последовательного запуска сервисов.
• Продукт с жёстким бюджетом. Считайте стоимость на реальном распределении реплик и длительности сессий. Одно среднее значение за минуту не заменит расчёт по фактическому профилю использования.

Публичные показатели нужны для первичного ориентира, но инфраструктура проекта может дать другой результат. На замер влияют регион пользователя и сервиса, сетевой маршрут, нагрузка API, длина реплики, время до окончания распознавания и выбранный способ передачи аудио. Проверять стоит на тех же данных, которые услышит пользователь, а не на коротком искусственном предложении.

Полезно фиксировать несколько времён отдельно: конец пользовательской реплики, начало ответа модели, получение первого аудиофрагмента и фактическое начало воспроизведения. Для каскада стоит записывать задержку каждого звена и отмечать, где этапы перекрываются. Тогда становится видно, что именно замедляет систему: STT, генерация текста, TTS, транспорт или клиентский буфер.

Вывод

GPT-4o Realtime API и ElevenLabs решают связанные, но не одинаковые задачи. Realtime API объединяет обработку входящей речи и генерацию голосового ответа. ElevenLabs даёт TTS-слой с собственной задержкой, настройками и возможностями работы с голосами. Поэтому TTFB ElevenLabs нельзя напрямую противопоставлять сквозной задержке GPT-4o.

В диалоге важны скорость всего цикла и поведение каждого этапа. В озвучке готового текста важнее стоимость символов, произношение и управление подачей. По имеющимся данным нельзя объявить одну платформу победителем по качеству звучания: для этого не хватает сопоставительного слепого теста. Решение стоит принимать по архитектуре продукта, необходимой степени кастомизации и замерам в собственной инфраструктуре.