Muse Spark Open: Meta выложила открытые веса MoE 816B / 42B active и контекст 1M токенов

15 октября Meta выложила веса Muse Spark Open — открытой мультимодальной MoE: около 816 млрд параметров всего, около 42 млрд active на токен и контекст до 1 млн токенов. Это не Muse Wonder: Wonder уже разбирали как закрытый фронтир, а Spark Open — отдельный open-weight релиз с весами на Hugging Face и инференсом у внешних провайдеров.

Что такое Muse Spark Open

В блоге Meta AI Research от 15 октября Muse Spark Open названа «most capable US open-weight model to date». Архитектура — Mixture-of-Experts: большая суммарная ёмкость при меньшей active-части на токен. Контекст — 1M токенов. Акцент — coding и agentic workflows: длинный горизонт, сложный софт, многошаговые рассуждения.

Пост Hugging Face уточняет цифры: ~816B total, ~42B active, 256 экспертов в MoE-слое, на токен выбирают 8. Входы — текст, изображения, аудио, видео; выход — текст. Чекпоинты — BF16 и NVFP4; репозитории вроде Muse-Spark-Open-816B-A42B.

Отдельно Meta подчёркивает десктопный сценарий: два Apple M5 Ultra Mac Studio с MLX и unified memory до 512 GB на машину. Это маркетинговый «домашний» угол, не замена кластеру для полной BF16-копии (~1,5 TB safetensors по HF).

Не путай с Muse Wonder: Wonder — уже опубликованная у нас фронтир-модель другого контура. Spark Open — про открытые веса и self-host / third-party inference.

Где гонять и что умеет

Meta перечисляет инференс-движки: SGLang, vLLM, TensorRT-LLM, Transformers, Apple MLX, llama.cpp, Unsloth; оптимизации под AMD, Apple, Intel, NVIDIA. Кастомизация — через PyTorch / TorchTitan. Лицензия — Muse Model License с limited commercial terms: многим можно бесплатно, но это не «делай что хочешь без условий» — читай текст лицензии на карточке.

Hugging Face подробно разбирает стек:

• Perception encoder ~1,8B для картинок и кадров видео.
• Audio encoder: порядка 12,5 токенов/сек (один токен ~каждые 80 мс), входной mono 24 kHz в процессоре.
• Tool calling и channel-based chat template.
• Reasoning effort (low/medium/high/xhigh); полностью «выключить» reasoning нельзя — для простых задач ставь low.

Для локальных/квантованных прогонов в HF упоминают llama.cpp и тесты на Mac M3 Ultra (512 GB): 2-bit imatrix-квант около 18 tok/s при ~304 GB под модель. MLX/oMLX — отдельные 3–4 bit кванты; даже 3-bit требует больше 256 GB RAM. Это не «запусти на ноутбуке» — скорее про студийные или серверные конфиги.

Рядом по духу open/local-агентов у нас был LFM2.5-24B-A2B от Liquid AI — другой масштаб и другой вендор.

Muse Spark Open и Muse Wonder — разные продукты: open-weight MoE с 1M контекстом против уже разобранного закрытого Wonder.

Safety и ограничения

Meta пишет, что open-weight несёт отдельные риски, поэтому у Spark Open дополнительный safety post-training. Оценку сверяли с Meta Superintelligence Scaling Framework; детали — в model card, полный eval report обещают отдельно. Это заявление вендора, не независимый аудит.

Практические ограничения из открытых материалов:

• Память под полные веса огромная; кванты режут качество и всё равно требуют сотен гигабайт.
• Reasoning нельзя отключить полностью — расход токенов на «думание» останется.
• Коммерция ограничена лицензией Muse Model License.
• Бенчмарки в блоге Meta стоит читать вместе с их evaluation methodology, а не как универсальный рейтинг «лучше всех».

Что это значит для тебя

Если нужен API без своего железа — смотри список хостов из блога Meta (Together, Fireworks, Groq, OpenRouter и др.) и сверяй цены/лимиты у провайдера. Если собираешь self-host — начни с карточки HF и рецептов vLLM/SGLang под NVFP4, а не с попытки засунуть 816B на одну потребительскую GPU.

Для крипты и агентов интереснее связка «длинный контекст + tool calling + мультимодальность»: модель может смотреть скрин, слушать войсноут или разбирать запись экрана, пока правит код. Это всё ещё текст на выходе, не генерация видео.

Не покупай «обязательно скачать сегодня»: сначала реши, API или локалка, и только потом тяни терабайтные веса.

Если сравнивать с плотными open-моделями меньшего размера, выигрыш Spark Open — в active/total эффективности и в 1M-контексте, а цена — в инфраструктуре. Для большинства читателей КриптоПанкс разумный путь — API-провайдер из списка Meta, а не самостоятельная сборка на потребительском железе.

Перед fine-tune по рецептам HF/TRL заложи стоимость кластера: речь про десятки GPU-узлов для полного 816B, не про одну карту. Для эксперимента чаще хватает API с NVFP4 у провайдера.

FAQ

Чем Muse Spark Open отличается от Muse Wonder? Spark Open — open-weight MoE с публичными весами и 1M контекстом. Wonder — другой, ранее разобранный продукт Meta, не этот релиз.

Сколько параметров реально считается на токен? Около 42B active при ~816B total; на токен роутер выбирает 8 из 256 экспертов.

Можно ли выключить reasoning? По Hugging Face — нет; минимум держи low на простых задачах.

Где взять веса? Коллекция на Hugging Face и облачные model gardens из блога Meta; инференс также у перечисленных API-партнёров.

Итог: Muse Spark Open — крупный open-weight ход Meta под агентный кодинг и длинный контекст. Не смешивай с Muse Wonder и закладывай реальные требования по памяти, если хочешь self-host.

Материал не является инвестиционной рекомендацией. Крипта — высокий риск, решения принимаешь сам.