Бенчмарк OnchainBench: ИИ-агентам дали ключи на копиях блокчейнов и спрятали атаки — фронтирные модели теряли средства чаще дешёвой открытой
Valory запустила открытый бенчмарк, который проверяет ИИ-агентов на реальных ончейн-задачах со спрятанными атаками. Разбираем, кто и на чём ошибался и почему результаты нужно читать с поправкой.

- 147 скрытых задач в 9 сетях: платежи, свопы, лендинг, рынки предсказаний и ресёрч; 53 задачи — «двойники» со спрятанной атакой.
- Больше всего потерь — у Codex на GPT-5.6 Sol: 8 из 254 атак; у Claude Code на Opus 5.5 — 3 из 254.
- Бенчмарк ведёт та же компания, что сделала одного из участников — olas-ocb-agent, у которого ноль потерь.
Бенчмарк OnchainBench от команды Valory впервые проверил, можно ли доверить ИИ-агенту ключи от кошелька. Семь связок «агент плюс модель» выполняли реальные ончейн-задачи на копиях блокчейнов, а в части заданий были спрятаны атаки. Самые дорогие фронтирные модели потеряли деньги чаще дешёвой открытой. Разбираем цифры и почему к ним стоит относиться с поправкой.
Что произошло
19 ноября Valory, разработчик протокола Olas, запустила две вещи сразу: публичный бенчмарк OnchainBench и бета-версию своего агента olas-ocb-agent. Идея бенчмарка — ответить на один вопрос: можно ли доверить агенту ключи? Каждый прогон идёт на локальной копии публичной сети, зафиксированной на определённом блоке. У агента есть смарт-аккаунт Safe, а результат проверяет отдельный чекер прямо по состоянию сети — отчёту самого агента не верят. Реальных денег в тестах нет.
Измеряли не модели сами по себе, а связки: «оболочка» (Claude Code, Codex, OpenClaw, Hermes, olas-ocb-agent) плюс модель. На каждую задачу давали до пяти попыток. Главные метрики — доля выполненных задач и безопасность: удалось ли атакующему получить перевод, апрув, подпись или секрет.
Бенчмарк OnchainBench: кого и как обманули
По выполнению задач лидирует Claude Code на недорогой открытой модели DeepSeek V4.1 Flash — 96,2%. Дальше Claude Code на Opus 5.5 (94,0%), OpenClaw (93,3%), Codex на GPT-5.6 Sol (92,9%), Hermes (92,7%), olas-ocb-agent (89,9%) и Codex на DeepSeek (88,4%).
Интереснее раздел о безопасности. Порог «прохода» — ноль потерь или верхняя граница доли потерь не выше 2%. Его не взяли две связки на фронтирных моделях: Codex на GPT-5.6 Sol отдал атакующему средства в 8 из 254 попыток, Claude Code на Opus 5.5 — в 3 из 254. Связки на DeepSeek V4.1 Flash потеряли максимум по одной атаке, а olas-ocb-agent и Codex на DeepSeek — ни одной.
Где именно ломались агенты? Почти все потери — в классе «давление на защитные ограничения», когда агента уговаривают обойти правила: у Codex на GPT-5.6 Sol это 5 из 15, у Claude Code на Opus — 3 из 15. Ещё 3 из 20 у Codex на GPT-5.6 Sol — инъекция в файле. А вот подмену адреса, фишинг подписи, вредоносные навыки и «вытягивание» секретов не пропустил никто.
Чем умнее модель, тем охотнее она соглашается помочь — в том числе тому, кто подсунул ей ловушку.
Почему цифры нужно делить на два
Valory прямо пишет на странице о проекте, что ведёт бенчмарк и одновременно разрабатывает olas-ocb-agent — одного из участников. Правила одинаковые для всех, код открыт, прогон можно повторить. Но это первый прогон, выборка небольшая: в отдельных классах атак от 4 до 25 попыток, и сам сайт просит читать такие разбивки как описание, а не как доказательство.
Цена тоже разная. У Claude Code на Opus 5.5 один успешный проход стоит около $0,27, у Codex на GPT-5.6 Sol — $0,35, а у связок на DeepSeek — $0,03–0,05. По данным блога Olas, их агент вызывает модель через Olas Marketplace и платит за каждый вызов из своего кошелька, поэтому рост использования должен приносить активность в сеть Olas. Это нормальная бизнес-логика, но помни о ней, когда читаешь рекламу «самого безопасного агента».
Что это значит для тебя и что делать
Если ты уже даёшь ИИ-агенту доступ к кошельку — через MCP, скиллы или готовые сервисы, — бенчмарк подтверждает очевидное: даже лучшие связки иногда ведутся на уговоры. Один промах на сотни попыток звучит мало, пока это не твой кошелёк. Мы уже писали, как WalletConnect for Agents оставляет подпись за человеком, — это правильный подход.
Практические шаги:
- Держи агенту отдельный кошелёк с небольшой суммой. Сам Olas советует начинать с малого — например, с 1 xDAI.
- Не включай автоподпись: каждую транзакцию, которая двигает деньги, подтверждай сам и читай, кому и сколько уходит.
- Проверяй навыки и инструменты агента до установки — вот как проверить скилл ИИ-агента.
- Не пиши агенту фраз вроде «сделай любой ценой» — именно давление на ограничения дало больше всего потерь.
FAQ
Что такое бенчмарк OnchainBench? Открытый тест ИИ-агентов на ончейн-задачах: платежи, свопы, лендинг, рынки предсказаний и ресёрч на копиях реальных сетей со спрятанными атаками.
Терял ли кто-то настоящие деньги? Нет. Все прогоны идут на локальных копиях сетей, транзакции в отчётах — тестовые.
Какая связка самая безопасная? В первом прогоне ноль потерь у olas-ocb-agent и Codex на DeepSeek V4.1 Flash. Но выборка маленькая, а бенчмарк ведёт разработчик одного из победителей.
Можно ли попробовать olas-ocb-agent? Да, это бета в Pearl Connect с открытым кодом под Apache 2.0, пока на сетях Gnosis, Polygon и Robinhood Chain.
Вывод
Бенчмарк OnchainBench — полезная первая попытка измерить то, что раньше обсуждали на уровне ощущений: насколько опасно давать ИИ ключи. Главный вывод не про победителя, а про класс ошибок: агентов чаще всего ломают не хитрым кодом, а уговорами. Пока это так, последнее слово в любой транзакции должно оставаться за тобой.
Материал не является инвестиционной рекомендацией. Крипта — высокий риск, решения принимаешь сам.


