Наш Telegram
КурсыBTC $59 634 +3,5%ETH $1 681 +3,6%TON $0,954 +3,5%SOL $69,73 +4,1%USDT/RUB 81,37 ₽

Модель Sophon-Realtime: открытый голосовой ИИ, который слушает и говорит одновременно, вздыхает и смеётся — на одной видеокарте

Adventists AI выложила открытую голосовую модель, которая перебивается, слышит интонацию и сама вставляет в речь вздохи и смех. Разбираем сборки, железо и обратную сторону.

Автор: Редакция КриптоПанкс
Модель Sophon-Realtime: открытый голосовой ИИ, который слушает и говорит одновременно, вздыхает и смеётся — на одной видеокарте
Коротко
  • Три сборки на одном «мозге» в 32 млрд параметров: Tag, Flash и экспериментальная E2E; первый звук у Flash — через 0,31 секунды.
  • Tag и Flash запускаются одной командой на одной видеокарте с 80 ГБ памяти и держат до 16 и 40 собеседников соответственно.
  • Все бенчмарки компания мерила сама; документированы только английский и китайский.

Китайская Adventists AI 8 ноября выложила в открытый доступ модель Sophon-Realtime — голосовую нейросеть, которая слушает и говорит одновременно, слышит интонацию и сама вставляет в речь смех, вздохи и паузы. Код и веса под Apache-2.0, коммерческое использование бесплатно. Разбираем, что она умеет, сколько железа просит и почему это касается не только разработчиков.

Что произошло

Релиз v1.0 появился на GitHub утром 8 ноября по UTC. Команда анонсировала открытие исходников на 9 ноября, но выпустила всё на день раньше. Веса лежат на Hugging Face и ModelScope, есть онлайн-демо. Ставится модель через pip: pip install sophon-realtime, затем sophon-realtime serve. При первом запуске скачивается около 42 ГБ, после чего сервер поднимается на порту 8000.

Главная фишка — полный дуплекс. Обычный голосовой бот ждёт, пока ты договоришь, потом думает и отвечает. Модель Sophon-Realtime слушает непрерывно, начинает готовить ответ с первой паузы и выдаёт его в момент, когда решает, что ты закончил. Если ты перебиваешь, она замолкает и отвечает на новый вопрос, а в истории диалога оставляет только ту часть ответа, которую ты успел услышать.

Голос, который вздыхает и смеётся к месту, уже не требует облака и подписки — хватит одной серверной видеокарты.

Модель Sophon-Realtime: что внутри

Все три сборки используют один «мозг» на 32 млрд параметров: он слушает речь, решает, закончил ли человек, и пишет ответ. Различаются они только тем, как текст превращается в звук.

Сборка Первый звук Пользователей на GPU 80 ГБ Видеокарт
Tag (рекомендуемая) ~0,6 с 16 1
Flash 0,31 с 40 1
E2E (превью) ~1 с 4–5 2

В Tag и Flash мозг размечает ответ звуковыми тегами вроде [laughter] или [sigh], а отдельная речевая модель их исполняет, а не зачитывает. По данным каталога LocalClaw, «мозг» вырос из Qwen3-VL-32B-Instruct, а голос — из Fun-CosyVoice3-0.5B. В комплекте шесть готовых голосов, а клонирование своего голоса для этой сборки каталог не подтверждает.

Цифры из README выглядят бодро: 82,8 на VoiceBench, 81,8% на Big Bench Audio, 48,6 балла в понимании интонации против 46,9 у Gemini 3.8 Flash и 44,6 у Qwen3-Omni. В вызове инструментов на Full-Duplex-Bench v3 — 48% против 43% у Grok. Но все замеры авторы проводили сами, а соперников иногда брали из чужих таблиц. Обзор ArtRealmAI отмечает и слабые места, о которых пишут сами авторы: вздохи и смех мозг пишет чаще, чем голос их реально исполняет, китайский звучит чуть хуже английского, а ответы длиннее примерно минуты выходят за пределы обучения.

Для разработчиков важна совместимость. Сервер отдаёт WebSocket в стиле OpenAI Realtime и обычный /v1/chat/completions, а режим Live повторяет протокол OpenAI GPT-Live. То есть готовый клиент под OpenAI можно переключить, поменяв адрес и ключ. Мозг можно дообучить через LoRA на одной видеокарте — личность, тон и знания предметной области.

Что это значит для тебя

Если ты строишь голосового агента для поддержки, бота-ассистента или NPC в игре, это бесплатная альтернатива облачным API. Правда, «бесплатная» условно: видеокарта на 80 ГБ в аренду стоит денег, и на ноутбуке модель не запустится. Похожие голосовые решения мы разбирали в материалах про Voxtral 3 от Mistral и модель Dessa от Block.

Есть и обратная сторона. Открытый голос, который естественно дышит, перебивается и реагирует на интонацию, удешевляет и звонки «службы безопасности биржи». В самой модели Sophon-Realtime клонирования чужого голоса из коробки нет. Но в экспериментальной сборке E2E новый декодер поднял сходство с голосом незнакомого диктора с 0,33 до 0,52. А на сайте Adventists AI для своей платформы прямо рекламируется клон «любого голоса по 10-секундной записи». Технология движется туда, где по голосу уже нельзя понять, бот это или человек.

Что делать

  • Разработчикам: начинай с Tag, если важна выразительность, и с Flash, если важны скорость и число пользователей. API одинаковые, переключиться можно позже.
  • Проверяй качество на своих записях: бенчмарки авторские, русский язык не заявлен.
  • Всем остальным: если «поддержка биржи» звонит голосом живого человека и торопит, клади трубку и перезванивай по номеру с официального сайта. Договорись с близкими о кодовом слове на случай звонков «из беды».

FAQ

Что такое модель Sophon-Realtime? Открытая голосовая нейросеть Adventists AI с полным дуплексом: слушает и говорит одновременно, понимает интонацию и вставляет в речь невербальные звуки.

Сколько нужно железа? Для Tag и Flash — одна видеокарта с 80 ГБ памяти, для E2E — две.

Можно ли использовать в коммерции? Да, код и веса под Apache-2.0.

Говорит ли она по-русски? Документированы английский и китайский; русский разработчики не заявляли.

Итог: модель Sophon-Realtime — заметный открытый голосовой релиз, но с авторскими бенчмарками и серьёзными требованиями к железу. Для разработчиков — повод попробовать, для остальных — ещё одна причина не верить голосу в трубке на слово.

Материал не является инвестиционной рекомендацией. Крипта — высокий риск, решения принимаешь сам.

Утечка промптов ИИ: 2 млн ловушек показали, что запросы к нейросетям читают посторонние — OpenRouter отключил трёх провайдеров, MiniMax под подозрением
Нейросети
Утечка промптов ИИ: 2 млн ловушек показали, что запросы к нейросетям читают посторонние — OpenRouter отключил трёх провайдеров, MiniMax под подозрением
22 ноября 2026
Модель bison-1: Baseten открыла нейросеть, которая отвечает не текстом, а вероятностями — первое место в рейтинге моделей решений и лучшая калибровка
Нейросети
Модель bison-1: Baseten открыла нейросеть, которая отвечает не текстом, а вероятностями — первое место в рейтинге моделей решений и лучшая калибровка
22 ноября 2026
Бенчмарк OnchainBench: ИИ-агентам дали ключи на копиях блокчейнов и спрятали атаки — фронтирные модели теряли средства чаще дешёвой открытой
Нейросети
Бенчмарк OnchainBench: ИИ-агентам дали ключи на копиях блокчейнов и спрятали атаки — фронтирные модели теряли средства чаще дешёвой открытой
21 ноября 2026

Будь в теме первым

Главные новости крипты, мемкоинов и нейросетей. Коротко, каждый день.