Наш Telegram
КурсыBTC $59 052 +2,0%ETH $1 664 +2,2%TON $0,945 +2,7%SOL $69,11 +2,6%USDT/RUB 81,36 ₽

Бенчмарк OnchainBench: ИИ-агентам дали ключи на копиях блокчейнов и спрятали атаки — фронтирные модели теряли средства чаще дешёвой открытой

Valory запустила открытый бенчмарк, который проверяет ИИ-агентов на реальных ончейн-задачах со спрятанными атаками. Разбираем, кто и на чём ошибался и почему результаты нужно читать с поправкой.

Автор: Редакция КриптоПанкс
Бенчмарк OnchainBench: ИИ-агентам дали ключи на копиях блокчейнов и спрятали атаки — фронтирные модели теряли средства чаще дешёвой открытой
Коротко
  • 147 скрытых задач в 9 сетях: платежи, свопы, лендинг, рынки предсказаний и ресёрч; 53 задачи — «двойники» со спрятанной атакой.
  • Больше всего потерь — у Codex на GPT-5.6 Sol: 8 из 254 атак; у Claude Code на Opus 5.5 — 3 из 254.
  • Бенчмарк ведёт та же компания, что сделала одного из участников — olas-ocb-agent, у которого ноль потерь.

Бенчмарк OnchainBench от команды Valory впервые проверил, можно ли доверить ИИ-агенту ключи от кошелька. Семь связок «агент плюс модель» выполняли реальные ончейн-задачи на копиях блокчейнов, а в части заданий были спрятаны атаки. Самые дорогие фронтирные модели потеряли деньги чаще дешёвой открытой. Разбираем цифры и почему к ним стоит относиться с поправкой.

Что произошло

19 ноября Valory, разработчик протокола Olas, запустила две вещи сразу: публичный бенчмарк OnchainBench и бета-версию своего агента olas-ocb-agent. Идея бенчмарка — ответить на один вопрос: можно ли доверить агенту ключи? Каждый прогон идёт на локальной копии публичной сети, зафиксированной на определённом блоке. У агента есть смарт-аккаунт Safe, а результат проверяет отдельный чекер прямо по состоянию сети — отчёту самого агента не верят. Реальных денег в тестах нет.

Измеряли не модели сами по себе, а связки: «оболочка» (Claude Code, Codex, OpenClaw, Hermes, olas-ocb-agent) плюс модель. На каждую задачу давали до пяти попыток. Главные метрики — доля выполненных задач и безопасность: удалось ли атакующему получить перевод, апрув, подпись или секрет.

Бенчмарк OnchainBench: кого и как обманули

По выполнению задач лидирует Claude Code на недорогой открытой модели DeepSeek V4.1 Flash — 96,2%. Дальше Claude Code на Opus 5.5 (94,0%), OpenClaw (93,3%), Codex на GPT-5.6 Sol (92,9%), Hermes (92,7%), olas-ocb-agent (89,9%) и Codex на DeepSeek (88,4%).

Интереснее раздел о безопасности. Порог «прохода» — ноль потерь или верхняя граница доли потерь не выше 2%. Его не взяли две связки на фронтирных моделях: Codex на GPT-5.6 Sol отдал атакующему средства в 8 из 254 попыток, Claude Code на Opus 5.5 — в 3 из 254. Связки на DeepSeek V4.1 Flash потеряли максимум по одной атаке, а olas-ocb-agent и Codex на DeepSeek — ни одной.

Где именно ломались агенты? Почти все потери — в классе «давление на защитные ограничения», когда агента уговаривают обойти правила: у Codex на GPT-5.6 Sol это 5 из 15, у Claude Code на Opus — 3 из 15. Ещё 3 из 20 у Codex на GPT-5.6 Sol — инъекция в файле. А вот подмену адреса, фишинг подписи, вредоносные навыки и «вытягивание» секретов не пропустил никто.

Чем умнее модель, тем охотнее она соглашается помочь — в том числе тому, кто подсунул ей ловушку.

Почему цифры нужно делить на два

Valory прямо пишет на странице о проекте, что ведёт бенчмарк и одновременно разрабатывает olas-ocb-agent — одного из участников. Правила одинаковые для всех, код открыт, прогон можно повторить. Но это первый прогон, выборка небольшая: в отдельных классах атак от 4 до 25 попыток, и сам сайт просит читать такие разбивки как описание, а не как доказательство.

Цена тоже разная. У Claude Code на Opus 5.5 один успешный проход стоит около $0,27, у Codex на GPT-5.6 Sol — $0,35, а у связок на DeepSeek — $0,03–0,05. По данным блога Olas, их агент вызывает модель через Olas Marketplace и платит за каждый вызов из своего кошелька, поэтому рост использования должен приносить активность в сеть Olas. Это нормальная бизнес-логика, но помни о ней, когда читаешь рекламу «самого безопасного агента».

Что это значит для тебя и что делать

Если ты уже даёшь ИИ-агенту доступ к кошельку — через MCP, скиллы или готовые сервисы, — бенчмарк подтверждает очевидное: даже лучшие связки иногда ведутся на уговоры. Один промах на сотни попыток звучит мало, пока это не твой кошелёк. Мы уже писали, как WalletConnect for Agents оставляет подпись за человеком, — это правильный подход.

Практические шаги:

  1. Держи агенту отдельный кошелёк с небольшой суммой. Сам Olas советует начинать с малого — например, с 1 xDAI.
  2. Не включай автоподпись: каждую транзакцию, которая двигает деньги, подтверждай сам и читай, кому и сколько уходит.
  3. Проверяй навыки и инструменты агента до установки — вот как проверить скилл ИИ-агента.
  4. Не пиши агенту фраз вроде «сделай любой ценой» — именно давление на ограничения дало больше всего потерь.

FAQ

Что такое бенчмарк OnchainBench? Открытый тест ИИ-агентов на ончейн-задачах: платежи, свопы, лендинг, рынки предсказаний и ресёрч на копиях реальных сетей со спрятанными атаками.

Терял ли кто-то настоящие деньги? Нет. Все прогоны идут на локальных копиях сетей, транзакции в отчётах — тестовые.

Какая связка самая безопасная? В первом прогоне ноль потерь у olas-ocb-agent и Codex на DeepSeek V4.1 Flash. Но выборка маленькая, а бенчмарк ведёт разработчик одного из победителей.

Можно ли попробовать olas-ocb-agent? Да, это бета в Pearl Connect с открытым кодом под Apache 2.0, пока на сетях Gnosis, Polygon и Robinhood Chain.

Вывод

Бенчмарк OnchainBench — полезная первая попытка измерить то, что раньше обсуждали на уровне ощущений: насколько опасно давать ИИ ключи. Главный вывод не про победителя, а про класс ошибок: агентов чаще всего ломают не хитрым кодом, а уговорами. Пока это так, последнее слово в любой транзакции должно оставаться за тобой.

Материал не является инвестиционной рекомендацией. Крипта — высокий риск, решения принимаешь сам.

Как проверить мост перед переводом: пошаговый гайд после взлома моста CYBER и слива хранилищ Chainflip на $12 млн
Гайды
Как проверить мост перед переводом: пошаговый гайд после взлома моста CYBER и слива хранилищ Chainflip на $12 млн
22 ноября 2026
Утечка промптов ИИ: 2 млн ловушек показали, что запросы к нейросетям читают посторонние — OpenRouter отключил трёх провайдеров, MiniMax под подозрением
Нейросети
Утечка промптов ИИ: 2 млн ловушек показали, что запросы к нейросетям читают посторонние — OpenRouter отключил трёх провайдеров, MiniMax под подозрением
22 ноября 2026
Модель bison-1: Baseten открыла нейросеть, которая отвечает не текстом, а вероятностями — первое место в рейтинге моделей решений и лучшая калибровка
Нейросети
Модель bison-1: Baseten открыла нейросеть, которая отвечает не текстом, а вероятностями — первое место в рейтинге моделей решений и лучшая калибровка
22 ноября 2026

Будь в теме первым

Главные новости крипты, мемкоинов и нейросетей. Коротко, каждый день.