LIVE

Память видеокарты для TTS: расчет требований модели

Универсального значения VRAM для синтеза речи нет. В карточке XTTS-v2 указаны 17 языков и частота дискретизации 24 кГц, но минимальный объем видеопамяти не зафиксирован. NVIDIA TTS NIM требует от 16 ГБ VRAM и Compute Capability не ниже 8.0.

Обновлено12 ноября 2026 г.
Чтение8 мин
Память видеокарты для TTS: расчет требований модели

Это условие конкретного сервиса, а не всех TTS-моделей.

Практический расчет начинается с режима генерации: один текст, фиксированный batch size, заданная точность, длина аудио и способ размещения весов. Размер файла модели дает только часть бюджета. Реальный расход определяется пиковыми активациями, кэшем декодера, рабочими буферами вокодера и запасом CUDA-аллокатора.

1. Требование сервиса и минимум локальной модели — разные величины

Официальная матрица NVIDIA TTS NIM задает нижнюю границу в 16 ГБ VRAM. Дополнительно требуется NVIDIA GPU с Compute Capability 8.0 или выше. Этот порог относится к запуску через NIM. Переносить его на любую локальную библиотеку синтеза речи нельзя.

Для XTTS-v2 официальная карточка не содержит минимальной или рекомендованной VRAM. Пользовательский отчет от 20 августа 2024 года упоминает около 2,1 ГБ VRAM и около 5 ГБ системной RAM при загрузке XTTS-v2. Это наблюдение для одной конфигурации. Оно не задает норматив для другой версии, реализации, точности или размера пакета.

Получаются три разные категории чисел:

ЗначениеОбласть действияЧто из него можно извлечь
16 ГБ VRAM, Compute Capability ≥ 8.0NVIDIA TTS NIMМинимальные условия конкретного сервиса
12,58–74,74 GiBMagpie TTS MultilingualПотребление в зафиксированных профилях с batch size 8–64
Около 2,1 ГБ VRAMОдин пользовательский запуск XTTS-v2Наблюдаемое значение, не официальный бенчмарк
Единого «минимального VRAM для TTS» нет. Есть требование конкретного сервиса, профиль конкретного batch size и результат конкретного локального запуска.

Единица измерения тоже имеет значение. В матрице NVIDIA для профилей указан GiB. В требованиях TTS NIM и пользовательском отчете по XTTS-v2 — GB. Один GiB равен 2³⁰ байт, один GB — 10⁹ байт. Перед сравнением нужно привести значения к одной единице и учитывать память, уже занятую графической подсистемой и другими процессами.

2. Из чего складывается расход VRAM во время синтеза

TTS-пайплайн обычно включает нормализацию текста, кодирование акустических признаков, генератор голоса и вокодер. Конкретная архитектура может объединять эти этапы. В любом случае во время инференса одновременно существуют несколько разных категорий памяти.

КомпонентЧто попадает в памятьКакие параметры меняют расход
Веса моделиЗагруженные на GPU тензоры моделиТочность, квантизация, offload
АктивацииПромежуточные представления текущего пакетаBatch size, длина текста, число шагов декодирования
Кэш декодераСостояние авторегрессивного генератора, если оно используетсяАрхитектура, длина последовательности
Рабочие буферыВременные тензоры вокодера и вычислительных ядерРеализация, точность, длина выходного аудио
Кэш аллокатораСвободные блоки, удерживаемые CUDA-памятьюПоследовательность загрузок и освобождений
Контекст и прочееCUDA-контекст, графика, другие процессыДрайвер, ОС, число активных приложений

Размер чекпойнта часто завышает ожидаемый расход. В файле могут находиться оптимизаторные состояния, EMA-веса, дублирующиеся tensors и служебные ключи. Для расчета нужен состав именно inference-весов, которые остаются resident на GPU.

Перевод весов из FP32 в FP16 или BF16 обычно уменьшает объем самих тензоров примерно вдвое. Полный расход GPU при этом не делится на два: активации, fixed buffers, рабочее пространство и запас аллокатора почти не меняются. У int8- и int4-квантизации есть собственные особенности: упакованные веса, области деквантизации и качество звука. Универсального коэффициента экономии для таких форматов нет.

3. Рабочая формула для расчета

Пиковый расход можно разложить на несколько составляющих:

M_allocated ≈ M_weights + M_activations + M_cache + M_batch + M_workspace

Здесь каждый параметр считается отдельно:

  • M_weights — фактический объем inference-тензоров на GPU.
  • M_activations — пиковый объем промежуточных tensors.
  • M_cache — состояние декодера или иной persistent cache.
  • M_batch — дополнительная память от параллельной обработки элементов.
  • M_workspace — буферы вокодера, attention kernels и прочих операций.

Для оценки реального места на карте нужен следующий уровень:

M_board ≈ M_reserved + M_CUDA_context + M_other_processes

M_reserved включает кэш и фрагментацию аллокатора. M_CUDA_context формируется при создании CUDA-контекста. M_other_processes учитывает браузер, видеоредактор, другие Python-процессы и фоновые задачи.

Batch size здесь означает число одновременно обрабатываемых примеров или текстовых сегментов. Его влияние нелинейно. Увеличение пакета расширяет активации, но fixed buffers остаются прежними. В некоторых архитектурах генерация разных примеров внутри пакета дополнительно синхронизируется, что меняет расход.

Для практического замера нужны два уровня наблюдения:

1. nvidia-smi показывает фактическую занятость памяти процессом, включая CUDA-контекст. Одновременная опроса может пропустить короткий пик.

2. torch.cuda.max_memory_allocated() и torch.cuda.max_memory_reserved() в PyTorch разделяют реально используемые tensors, зарезервированную память и простой allocator.

Первый запуск следует измерять отдельно от прогретого состояния. Ленивая загрузка, компиляция kernels, создание CUDA-пулов и инициализация вокодера способны поднять пик. После warm-up модель может удерживать дополнительный кэш, которого не было при первом вызове.

4. Документированные ориентиры по batch size

В таблице конфигураций NVIDIA приведены следующие значения:

МодельBatch sizeПотребление GPU-памяти
Magpie TTS Multilingual812,58 GiB
Magpie TTS Multilingual3241,46 GiB
Magpie TTS Multilingual6474,74 GiB
Chatterbox TTS Multilingual844,61 GiB
Chatterbox TTS Multilingual3246,84 GiB
Chatterbox TTS Multilingual6449,72 GiB

Цифры относятся к указанным профилям развертывания. Это замеры конкретной конфигурации, а не минимальные требования моделей при одиночной генерации.

Масштабирование Magpie выглядит резко. Переход от batch size 8 к 32 увеличивает расход на 28,88 GiB. Переход от 32 к 64 добавляет еще 33,28 GiB. Увеличение пакета в восемь раз, с 8 до 64, сопровождается ростом потребления примерно в 5,9 раза. Линейная зависимость здесь не работает.

У Chatterbox профиль растет иначе. Между batch size 8 и 64 потребление увеличивается с 44,61 до 49,72 GiB, то есть на 5,11 GiB. Это около 11 процентов исходного значения при восьмикратном росте пакета.

Масштаб batch size задается архитектурой и runtime. Чужие профили нельзя переносить на XTTS, Coqui или локальный сервер без замера.

Разница между двумя моделями при batch size 8 составляет 32,03 GiB. Она показывает влияние реализации, состава сервиса и рабочих буферов. По одному размеру весов такую разницу объяснить нельзя.

5. Как считать VRAM для XTTS-v2

Для XTTS-v2 отсутствует официальная таблица потребления при разных batch size. Единственная числовая точка в доступной фактуре — пользовательский отчет примерно на 2,1 ГБ VRAM и 5 ГБ системной RAM. Эта точка не задает план расчета. Она показывает только то, с чем столкнулся один запуск.

Расчет для локальной установки выполняется по следующей процедуре:

1. Зафиксировать реализацию. Нужны ревизия репозитория Coqui, версия XTTS-v2, версии PyTorch и CUDA, драйвер и способ запуска. Один и тот же чекпойнт в разных обёртках может иметь разные buffers.

2. Проверить фактически загруженные веса. Размер каталога модели показывает потенциальный объем данных. Для GPU-бюджета нужен состав state dict после удаления оптимизаторных и неиспользуемых ключей.

3. Выбрать точность. FP32, FP16, BF16 или квантизация меняют веса и доступные kernels. Пересчет должен идти по фактически загруженным tensors.

4. Запустить минимальный профиль. Batch size 1, короткий текст, одна референсная запись. Это дает базовую длину residency и первый профиль памяти.

5. Провести прогрев. После нескольких одинаковых запросов фиксируются allocated, reserved и фактическое потребление карты.

6. Воспроизвести целевую нагрузку. Нужны максимальная длина текста, типичная длина аудио, нужное число голосов и фактический batch size.

7. Проверить длинный ввод. В коде соответствующего пути генерации XTTS длина текста должна быть меньше 400 токенов. Этот предел влияет на сегментацию, но сам по себе не задает VRAM.

8. Зафиксировать пик. Отдельно учитываются память до warm-up, steady-state и кратковременный пик во время декодирования.

Референсное аудио добавляет нагрузку на кодировщик голоса и предобработку. Его длину стоит выбирать по рабочему диапазону модели, а не хранить произвольные длинные записи. Частота 24 кГц определяет частоту выходного сигнала; объем временного ряда растет вместе с длительностью генерации.

Системная RAM требует отдельного учета. Model mapping, CPU-часть пайплайна, аудиоbuffers и файл подкачки могут занимать память независимо от VRAM. Перенос части модели в RAM снижает residency GPU, но добавляет передачу данных по PCIe и синхронизацию.

6. Выбор GPU под реальный профиль

Выбор карты начинается с измеренного пика целевой конфигурации. Затем добавляются фактически свободная память карты и запас под конкретный runtime. Этот запас измеряется на целевой версии драйвера и типовом наборе запросов.

РежимВлияние на VRAMКомпромисс
Последовательные запросы, batch size 1Минимальный размер batch-dependent частиНизкая параллельная пропускная способность
MicrobatchУмеренный рост активаций и buffersЛучше использование GPU при контролируемой задержке
Большой постоянный batchЗаметный рост пиковой памятиВыше throughput при крупном резерве VRAM
Несколько worker-процессовResident-веса и контексты суммируютсяПроще изоляция, выше общий расход памяти
CPU offloadМеньше tensors постоянно на GPUДополнительные передачи по PCIe и задержки
Квантизация весовМеньше памяти под модельВозможны изменения качества и скорости kernels

По зафиксированным профилям NVIDIA:

  • Профиль Magpie с batch size 8 требует 12,58 GiB. Карта с 12 ГБ не поместит этот объем.
  • Профиль Magpie с batch size 32 требует 41,46 GiB.
  • Профиль Magpie с batch size 64 требует 74,74 GiB.
  • Профиль Chatterbox с batch size 8 уже требует 44,61 GiB.
  • Профиль Chatterbox с batch size 64 требует 49,72 GiB.

Это данные конкретных deployment-профилей. Их можно использовать для предварительного отсева GPU, но не для обещания одинакового результата другой модели.

Для production-нагрузки память следует считать по максимуму одновременно активных компонентов. Несколько процессов Python с загруженной моделью резервируют отдельный набор весов. Увеличение batch size внутри одного процесса и запуск нескольких workers могут дать разный расход при похожем числе запросов.

Расчет VRAM для TTS начинается с operating point: версия модели, реализация, точность, batch size, длина входа и аудио. Для XTTS-v2 официального минимума нет, поэтому требуется собственный замер. Требование 16 ГБ для NVIDIA TTS NIM относится только к этому сервису. Размер чекпойнта без профиля генерации не позволяет выбрать видеокарту.