Модель Sophon-Realtime: открытый голосовой ИИ, который слушает и говорит одновременно, вздыхает и смеётся — на одной видеокарте
Adventists AI выложила открытую голосовую модель, которая перебивается, слышит интонацию и сама вставляет в речь вздохи и смех. Разбираем сборки, железо и обратную сторону.

- Три сборки на одном «мозге» в 32 млрд параметров: Tag, Flash и экспериментальная E2E; первый звук у Flash — через 0,31 секунды.
- Tag и Flash запускаются одной командой на одной видеокарте с 80 ГБ памяти и держат до 16 и 40 собеседников соответственно.
- Все бенчмарки компания мерила сама; документированы только английский и китайский.
Китайская Adventists AI 8 ноября выложила в открытый доступ модель Sophon-Realtime — голосовую нейросеть, которая слушает и говорит одновременно, слышит интонацию и сама вставляет в речь смех, вздохи и паузы. Код и веса под Apache-2.0, коммерческое использование бесплатно. Разбираем, что она умеет, сколько железа просит и почему это касается не только разработчиков.
Что произошло
Релиз v1.0 появился на GitHub утром 8 ноября по UTC. Команда анонсировала открытие исходников на 9 ноября, но выпустила всё на день раньше. Веса лежат на Hugging Face и ModelScope, есть онлайн-демо. Ставится модель через pip: pip install sophon-realtime, затем sophon-realtime serve. При первом запуске скачивается около 42 ГБ, после чего сервер поднимается на порту 8000.
Главная фишка — полный дуплекс. Обычный голосовой бот ждёт, пока ты договоришь, потом думает и отвечает. Модель Sophon-Realtime слушает непрерывно, начинает готовить ответ с первой паузы и выдаёт его в момент, когда решает, что ты закончил. Если ты перебиваешь, она замолкает и отвечает на новый вопрос, а в истории диалога оставляет только ту часть ответа, которую ты успел услышать.
Голос, который вздыхает и смеётся к месту, уже не требует облака и подписки — хватит одной серверной видеокарты.
Модель Sophon-Realtime: что внутри
Все три сборки используют один «мозг» на 32 млрд параметров: он слушает речь, решает, закончил ли человек, и пишет ответ. Различаются они только тем, как текст превращается в звук.
| Сборка | Первый звук | Пользователей на GPU 80 ГБ | Видеокарт |
|---|---|---|---|
| Tag (рекомендуемая) | ~0,6 с | 16 | 1 |
| Flash | 0,31 с | 40 | 1 |
| E2E (превью) | ~1 с | 4–5 | 2 |
В Tag и Flash мозг размечает ответ звуковыми тегами вроде [laughter] или [sigh], а отдельная речевая модель их исполняет, а не зачитывает. По данным каталога LocalClaw, «мозг» вырос из Qwen3-VL-32B-Instruct, а голос — из Fun-CosyVoice3-0.5B. В комплекте шесть готовых голосов, а клонирование своего голоса для этой сборки каталог не подтверждает.
Цифры из README выглядят бодро: 82,8 на VoiceBench, 81,8% на Big Bench Audio, 48,6 балла в понимании интонации против 46,9 у Gemini 3.8 Flash и 44,6 у Qwen3-Omni. В вызове инструментов на Full-Duplex-Bench v3 — 48% против 43% у Grok. Но все замеры авторы проводили сами, а соперников иногда брали из чужих таблиц. Обзор ArtRealmAI отмечает и слабые места, о которых пишут сами авторы: вздохи и смех мозг пишет чаще, чем голос их реально исполняет, китайский звучит чуть хуже английского, а ответы длиннее примерно минуты выходят за пределы обучения.
Для разработчиков важна совместимость. Сервер отдаёт WebSocket в стиле OpenAI Realtime и обычный /v1/chat/completions, а режим Live повторяет протокол OpenAI GPT-Live. То есть готовый клиент под OpenAI можно переключить, поменяв адрес и ключ. Мозг можно дообучить через LoRA на одной видеокарте — личность, тон и знания предметной области.
Что это значит для тебя
Если ты строишь голосового агента для поддержки, бота-ассистента или NPC в игре, это бесплатная альтернатива облачным API. Правда, «бесплатная» условно: видеокарта на 80 ГБ в аренду стоит денег, и на ноутбуке модель не запустится. Похожие голосовые решения мы разбирали в материалах про Voxtral 3 от Mistral и модель Dessa от Block.
Есть и обратная сторона. Открытый голос, который естественно дышит, перебивается и реагирует на интонацию, удешевляет и звонки «службы безопасности биржи». В самой модели Sophon-Realtime клонирования чужого голоса из коробки нет. Но в экспериментальной сборке E2E новый декодер поднял сходство с голосом незнакомого диктора с 0,33 до 0,52. А на сайте Adventists AI для своей платформы прямо рекламируется клон «любого голоса по 10-секундной записи». Технология движется туда, где по голосу уже нельзя понять, бот это или человек.
Что делать
- Разработчикам: начинай с Tag, если важна выразительность, и с Flash, если важны скорость и число пользователей. API одинаковые, переключиться можно позже.
- Проверяй качество на своих записях: бенчмарки авторские, русский язык не заявлен.
- Всем остальным: если «поддержка биржи» звонит голосом живого человека и торопит, клади трубку и перезванивай по номеру с официального сайта. Договорись с близкими о кодовом слове на случай звонков «из беды».
FAQ
Что такое модель Sophon-Realtime? Открытая голосовая нейросеть Adventists AI с полным дуплексом: слушает и говорит одновременно, понимает интонацию и вставляет в речь невербальные звуки.
Сколько нужно железа? Для Tag и Flash — одна видеокарта с 80 ГБ памяти, для E2E — две.
Можно ли использовать в коммерции? Да, код и веса под Apache-2.0.
Говорит ли она по-русски? Документированы английский и китайский; русский разработчики не заявляли.
Итог: модель Sophon-Realtime — заметный открытый голосовой релиз, но с авторскими бенчмарками и серьёзными требованиями к железу. Для разработчиков — повод попробовать, для остальных — ещё одна причина не верить голосу в трубке на слово.
Материал не является инвестиционной рекомендацией. Крипта — высокий риск, решения принимаешь сам.


