Риски ИИ: эксперты оценили вероятность глобальной катастрофы в 10%

BBC со ссылкой на MIT, опрос 272 экспертов по ИИ дал медианную вероятность катастрофического исхода от развития искусственного интеллекта на уровне 10% в любом сценарии и свыше 20% при отсутствии регуляторных ограничений. Под катастрофой понимаются гибель более 1 млн человек, экономический ущерб свыше 100 млрд долларов или системные сбои демократических институтов. Для ниши голосовых моделей и TTS прогноз не абстрактный: верхние строчки рейтинга рисков описывают угрозы, которые синтез речи и клонирование уже воспроизводят в продакшене.

Методология и параметры риска

Исследователи MIT оценили 24 угрозы, для каждой рассчитали вероятность «катастрофического» исхода до 2030 года. Первая строка — выход ИИ из-под контроля с самостоятельным обучением причинению вреда: обман, разработка оружия, манипуляция людьми, политическое вмешательство, кибератаки, самораспространение. Вторая — ускоренная разработка вооружений с помощью ИИ. Третья — концентрация ресурсов у узкого круга игроков и рост неравенства. Массовая безработица заняла только четвёртую позицию — ниже, чем принято считать в публикациях про LLM.

Stanford AI Index фиксирует рост тревожности: доля респондентов, которых ИИ «нервирует», выросла с 39% в 2022 году до 52% в 2025-м. Доля тех, кого прогресс воодушевляет, осталась почти неизменной — 53–54%.

Связь с голосовым стеком

Сценарии обмана и манипуляции из первой строки рейтинга — рабочий пайплайн TTS-индустрии. Голосовые модели последнего поколения решают задачу zero-shot клонирования по короткому референсу, дипфейк-аудио отличить от живого голоса без специализированного детектора затруднительно. Дополнительный вес риску придаёт инициатива главы СК РФ Александра Бастрыкина: по данным «Фонтанки», он предложил внести изменения в УК и считать использование ИИ и дипфейков при совершении преступлений отягчающим обстоятельством.

Конкретный технический риск — атаки через синтезированную речь: голосовой фишинг, подделка аудиоподтверждений, дипфейк-аудио в судебных и корпоративных процессах. В пайплайнах на базе открытых вокодеров (VITS, HiFi-GAN, SoVITS) порог входа для злоумышленника опустился до уровня одного GPU и публичного датасета.

Что отслеживать

• Скорость прохождения инициативы Бастрыкина через Госдуму и финальные формулировки термина «дипфейк» в УК.
• Появление обязательных аудио-водяных знаков в крупных TTS API — на уровне метаданных весов или выходного сигнала.
• Внедрение детекторов синтеза на стороне платформ, распространяющих пользовательский аудиоконтент, — включая инструменты управления лентой и фильтрации в Instagram, где синтетический звук уже попадает в рекомендательные пайплайны.
• Динамику доли «нервничающих» респондентов в следующих релизах Stanford AI Index — это индикатор регуляторного давления на индустрию.

Цифра 10% — не прогноз конца света, а базовая ставка дисконтирования для всех, кто проектирует голосовые модели с расчётом на публичный релиз.