Память видеокарты для TTS: расчет требований модели
Универсального значения VRAM для синтеза речи нет. В карточке XTTS-v2 указаны 17 языков и частота дискретизации 24 кГц, но минимальный объем видеопамяти не зафиксирован. NVIDIA TTS NIM требует от 16 ГБ VRAM и Compute Capability не ниже 8.0.

Это условие конкретного сервиса, а не всех TTS-моделей.
Практический расчет начинается с режима генерации: один текст, фиксированный batch size, заданная точность, длина аудио и способ размещения весов. Размер файла модели дает только часть бюджета. Реальный расход определяется пиковыми активациями, кэшем декодера, рабочими буферами вокодера и запасом CUDA-аллокатора.
1. Требование сервиса и минимум локальной модели — разные величины
Официальная матрица NVIDIA TTS NIM задает нижнюю границу в 16 ГБ VRAM. Дополнительно требуется NVIDIA GPU с Compute Capability 8.0 или выше. Этот порог относится к запуску через NIM. Переносить его на любую локальную библиотеку синтеза речи нельзя.
Для XTTS-v2 официальная карточка не содержит минимальной или рекомендованной VRAM. Пользовательский отчет от 20 августа 2024 года упоминает около 2,1 ГБ VRAM и около 5 ГБ системной RAM при загрузке XTTS-v2. Это наблюдение для одной конфигурации. Оно не задает норматив для другой версии, реализации, точности или размера пакета.
Получаются три разные категории чисел:
| Значение | Область действия | Что из него можно извлечь |
|---|---|---|
| 16 ГБ VRAM, Compute Capability ≥ 8.0 | NVIDIA TTS NIM | Минимальные условия конкретного сервиса |
| 12,58–74,74 GiB | Magpie TTS Multilingual | Потребление в зафиксированных профилях с batch size 8–64 |
| Около 2,1 ГБ VRAM | Один пользовательский запуск XTTS-v2 | Наблюдаемое значение, не официальный бенчмарк |
Единого «минимального VRAM для TTS» нет. Есть требование конкретного сервиса, профиль конкретного batch size и результат конкретного локального запуска.
Единица измерения тоже имеет значение. В матрице NVIDIA для профилей указан GiB. В требованиях TTS NIM и пользовательском отчете по XTTS-v2 — GB. Один GiB равен 2³⁰ байт, один GB — 10⁹ байт. Перед сравнением нужно привести значения к одной единице и учитывать память, уже занятую графической подсистемой и другими процессами.
2. Из чего складывается расход VRAM во время синтеза
TTS-пайплайн обычно включает нормализацию текста, кодирование акустических признаков, генератор голоса и вокодер. Конкретная архитектура может объединять эти этапы. В любом случае во время инференса одновременно существуют несколько разных категорий памяти.
| Компонент | Что попадает в память | Какие параметры меняют расход |
|---|---|---|
| Веса модели | Загруженные на GPU тензоры модели | Точность, квантизация, offload |
| Активации | Промежуточные представления текущего пакета | Batch size, длина текста, число шагов декодирования |
| Кэш декодера | Состояние авторегрессивного генератора, если оно используется | Архитектура, длина последовательности |
| Рабочие буферы | Временные тензоры вокодера и вычислительных ядер | Реализация, точность, длина выходного аудио |
| Кэш аллокатора | Свободные блоки, удерживаемые CUDA-памятью | Последовательность загрузок и освобождений |
| Контекст и прочее | CUDA-контекст, графика, другие процессы | Драйвер, ОС, число активных приложений |
Размер чекпойнта часто завышает ожидаемый расход. В файле могут находиться оптимизаторные состояния, EMA-веса, дублирующиеся tensors и служебные ключи. Для расчета нужен состав именно inference-весов, которые остаются resident на GPU.
Перевод весов из FP32 в FP16 или BF16 обычно уменьшает объем самих тензоров примерно вдвое. Полный расход GPU при этом не делится на два: активации, fixed buffers, рабочее пространство и запас аллокатора почти не меняются. У int8- и int4-квантизации есть собственные особенности: упакованные веса, области деквантизации и качество звука. Универсального коэффициента экономии для таких форматов нет.
3. Рабочая формула для расчета
Пиковый расход можно разложить на несколько составляющих:
M_allocated ≈ M_weights + M_activations + M_cache + M_batch + M_workspace
Здесь каждый параметр считается отдельно:
- M_weights — фактический объем inference-тензоров на GPU.
- M_activations — пиковый объем промежуточных tensors.
- M_cache — состояние декодера или иной persistent cache.
- M_batch — дополнительная память от параллельной обработки элементов.
- M_workspace — буферы вокодера, attention kernels и прочих операций.
Для оценки реального места на карте нужен следующий уровень:
M_board ≈ M_reserved + M_CUDA_context + M_other_processes
M_reserved включает кэш и фрагментацию аллокатора. M_CUDA_context формируется при создании CUDA-контекста. M_other_processes учитывает браузер, видеоредактор, другие Python-процессы и фоновые задачи.
Batch size здесь означает число одновременно обрабатываемых примеров или текстовых сегментов. Его влияние нелинейно. Увеличение пакета расширяет активации, но fixed buffers остаются прежними. В некоторых архитектурах генерация разных примеров внутри пакета дополнительно синхронизируется, что меняет расход.
Для практического замера нужны два уровня наблюдения:
1. nvidia-smi показывает фактическую занятость памяти процессом, включая CUDA-контекст. Одновременная опроса может пропустить короткий пик.
2. torch.cuda.max_memory_allocated() и torch.cuda.max_memory_reserved() в PyTorch разделяют реально используемые tensors, зарезервированную память и простой allocator.
Первый запуск следует измерять отдельно от прогретого состояния. Ленивая загрузка, компиляция kernels, создание CUDA-пулов и инициализация вокодера способны поднять пик. После warm-up модель может удерживать дополнительный кэш, которого не было при первом вызове.
4. Документированные ориентиры по batch size
В таблице конфигураций NVIDIA приведены следующие значения:
| Модель | Batch size | Потребление GPU-памяти |
|---|---|---|
| Magpie TTS Multilingual | 8 | 12,58 GiB |
| Magpie TTS Multilingual | 32 | 41,46 GiB |
| Magpie TTS Multilingual | 64 | 74,74 GiB |
| Chatterbox TTS Multilingual | 8 | 44,61 GiB |
| Chatterbox TTS Multilingual | 32 | 46,84 GiB |
| Chatterbox TTS Multilingual | 64 | 49,72 GiB |
Цифры относятся к указанным профилям развертывания. Это замеры конкретной конфигурации, а не минимальные требования моделей при одиночной генерации.
Масштабирование Magpie выглядит резко. Переход от batch size 8 к 32 увеличивает расход на 28,88 GiB. Переход от 32 к 64 добавляет еще 33,28 GiB. Увеличение пакета в восемь раз, с 8 до 64, сопровождается ростом потребления примерно в 5,9 раза. Линейная зависимость здесь не работает.
У Chatterbox профиль растет иначе. Между batch size 8 и 64 потребление увеличивается с 44,61 до 49,72 GiB, то есть на 5,11 GiB. Это около 11 процентов исходного значения при восьмикратном росте пакета.
Масштаб batch size задается архитектурой и runtime. Чужие профили нельзя переносить на XTTS, Coqui или локальный сервер без замера.
Разница между двумя моделями при batch size 8 составляет 32,03 GiB. Она показывает влияние реализации, состава сервиса и рабочих буферов. По одному размеру весов такую разницу объяснить нельзя.
5. Как считать VRAM для XTTS-v2
Для XTTS-v2 отсутствует официальная таблица потребления при разных batch size. Единственная числовая точка в доступной фактуре — пользовательский отчет примерно на 2,1 ГБ VRAM и 5 ГБ системной RAM. Эта точка не задает план расчета. Она показывает только то, с чем столкнулся один запуск.
Расчет для локальной установки выполняется по следующей процедуре:
1. Зафиксировать реализацию. Нужны ревизия репозитория Coqui, версия XTTS-v2, версии PyTorch и CUDA, драйвер и способ запуска. Один и тот же чекпойнт в разных обёртках может иметь разные buffers.
2. Проверить фактически загруженные веса. Размер каталога модели показывает потенциальный объем данных. Для GPU-бюджета нужен состав state dict после удаления оптимизаторных и неиспользуемых ключей.
3. Выбрать точность. FP32, FP16, BF16 или квантизация меняют веса и доступные kernels. Пересчет должен идти по фактически загруженным tensors.
4. Запустить минимальный профиль. Batch size 1, короткий текст, одна референсная запись. Это дает базовую длину residency и первый профиль памяти.
5. Провести прогрев. После нескольких одинаковых запросов фиксируются allocated, reserved и фактическое потребление карты.
6. Воспроизвести целевую нагрузку. Нужны максимальная длина текста, типичная длина аудио, нужное число голосов и фактический batch size.
7. Проверить длинный ввод. В коде соответствующего пути генерации XTTS длина текста должна быть меньше 400 токенов. Этот предел влияет на сегментацию, но сам по себе не задает VRAM.
8. Зафиксировать пик. Отдельно учитываются память до warm-up, steady-state и кратковременный пик во время декодирования.
Референсное аудио добавляет нагрузку на кодировщик голоса и предобработку. Его длину стоит выбирать по рабочему диапазону модели, а не хранить произвольные длинные записи. Частота 24 кГц определяет частоту выходного сигнала; объем временного ряда растет вместе с длительностью генерации.
Системная RAM требует отдельного учета. Model mapping, CPU-часть пайплайна, аудиоbuffers и файл подкачки могут занимать память независимо от VRAM. Перенос части модели в RAM снижает residency GPU, но добавляет передачу данных по PCIe и синхронизацию.
6. Выбор GPU под реальный профиль
Выбор карты начинается с измеренного пика целевой конфигурации. Затем добавляются фактически свободная память карты и запас под конкретный runtime. Этот запас измеряется на целевой версии драйвера и типовом наборе запросов.
| Режим | Влияние на VRAM | Компромисс |
|---|---|---|
| Последовательные запросы, batch size 1 | Минимальный размер batch-dependent части | Низкая параллельная пропускная способность |
| Microbatch | Умеренный рост активаций и buffers | Лучше использование GPU при контролируемой задержке |
| Большой постоянный batch | Заметный рост пиковой памяти | Выше throughput при крупном резерве VRAM |
| Несколько worker-процессов | Resident-веса и контексты суммируются | Проще изоляция, выше общий расход памяти |
| CPU offload | Меньше tensors постоянно на GPU | Дополнительные передачи по PCIe и задержки |
| Квантизация весов | Меньше памяти под модель | Возможны изменения качества и скорости kernels |
По зафиксированным профилям NVIDIA:
- Профиль Magpie с batch size 8 требует 12,58 GiB. Карта с 12 ГБ не поместит этот объем.
- Профиль Magpie с batch size 32 требует 41,46 GiB.
- Профиль Magpie с batch size 64 требует 74,74 GiB.
- Профиль Chatterbox с batch size 8 уже требует 44,61 GiB.
- Профиль Chatterbox с batch size 64 требует 49,72 GiB.
Это данные конкретных deployment-профилей. Их можно использовать для предварительного отсева GPU, но не для обещания одинакового результата другой модели.
Для production-нагрузки память следует считать по максимуму одновременно активных компонентов. Несколько процессов Python с загруженной моделью резервируют отдельный набор весов. Увеличение batch size внутри одного процесса и запуск нескольких workers могут дать разный расход при похожем числе запросов.
Расчет VRAM для TTS начинается с operating point: версия модели, реализация, точность, batch size, длина входа и аудио. Для XTTS-v2 официального минимума нет, поэтому требуется собственный замер. Требование 16 ГБ для NVIDIA TTS NIM относится только к этому сервису. Размер чекпойнта без профиля генерации не позволяет выбрать видеокарту.