METR внутри Anthropic: зачем независимым экспертам дали доступ как сотрудникам

Когда компания сама оценивает риски собственных продуктов, доверять этой оценке приходится на слово. Anthropic решила закрыть этот разрыв иначе — не рассказами о своей ответственности, а тем, что впустила независимых проверяющих внутрь, дала им реальный доступ к внутренней кухне и право публиковать выводы без цензуры со стороны компании.

Зачем вообще нужны независимые проверяющие

Чем мощнее становятся модели, тем сложнее оценивать риски, которые они несут, и тем серьёзнее должны быть защитные механизмы вокруг них. Anthropic хочет быть публично подотчётной за свои решения, но не может просто выложить в открытый доступ всю информацию, которая важна для оценки безопасности: часть данных может быть полезна злоумышленникам, часть — коммерческая тайна (например, данные о вычислительных мощностях или деталях обучения моделей).

Выход, который предложила компания: не раскрывать всё публично, а дать независимым экспертам глубокий доступ к внутренней информации и позволить им самим формировать выводы и публиковать доказательства и аргументацию по рискам. Цель — сократить разрыв между тем, что понимают о системах компании сторонние эксперты, и тем, что понимает о них сама компания.

Чтобы такая проверка имела смысл, у оценщика должно быть четыре вещи:

• Экспертиза — умение оценивать возможности передовых моделей, включая понимание того, как проверки могут давать сбой (например, из-за так называемого alignment faking — когда модель во время тестов ведёт себя «правильно», притворяясь согласованной с правилами, а не являясь таковой на самом деле).
• Независимость — отсутствие доли в компании и финансовой или операционной зависимости от неё.
• Достаточный доступ — не только к последним моделям, но и к тому, как они обучались, как работают защитные механизмы и так далее.
• Свобода публикации — право самостоятельно публиковать наблюдения и оценки без согласования content’а с компанией.

Этот шаг Anthropic связывает с более широким контекстом: месяц назад компания публично пообещала усилить независимую стороннюю оценку своих моделей и практик безопасности, а также подписала соглашение Белого дома по сверхразумному ИИ, в котором компании обязались сотрудничать с внешними аудиторами и оценщиками. METR — первая организация, получившая настолько глубокий доступ.

Что значит доступ «как у сотрудника»

На практике это выглядит буднично и при этом довольно радикально. Anthropic оформила шесть сотрудников METR с корпоративным оборудованием, рабочими местами в офисе и доступом к внутренним инструментам и системам — примерно на том же уровне, что и у собственных команд компании, занимающихся оценкой рисков.

За пределами узкого списка исключений — данные о клиентах, информация, защищённая адвокатской тайной, или детали архитектуры моделей — сотрудники Anthropic могут делиться с командой METR информацией так же свободно, как с коллегой из собственного отдела по рискам согласованности. Архитектура моделей попала в список исключений не случайно: риск случайной утечки здесь высокий, а польза для оценки рисков обычно низкая — всё же METR и подобные организации работают не только с Anthropic, и случайная утечка в сторону конкурента или в публичное поле вполне реальна.

Главное условие — публикации METR Anthropic не может ветировать. Компания вправе потребовать убрать из текста информацию из этих узких закрытых категорий, но METR при этом свободна публично охарактеризовать сам факт редактирования и сказать, считает ли она его обоснованным — не раскрывая, разумеется, саму скрытую информацию.

Три уровня доступа для разных партнёров

METR — самый продвинутый случай, но не единственный. Anthropic параллельно работает с несколькими организациями, включая SecureBio и Accenture, а также ведёт переговоры с другими, в том числе с Hugging Face. Чтобы систематизировать эти партнёрства, компания выстроила три уровня доступа и публикационных прав.

Логика здесь простая: доверие строится постепенно. Партнёрства начинаются с узкого круга задач и ограниченного доступа, и по мере того как обе стороны убеждаются, что информация защищена, а у оценщика достаточно ресурсов и экспертизы, доступ и права на публикацию расширяются. Со временем Anthropic надеется довести до третьего уровня несколько независимых команд одновременно, чтобы каждая публиковала собственный анализ рисков компании и ключевых решений.

SecureBio: первый шаг с биологическими рисками

SecureBio сейчас находится на первом уровне доступа. Эта организация уже завершила и опубликовала пилотный обзор предыдущего отчёта о рисках Anthropic, а сейчас проверяет главу об оружии химической и биологической природы в августовском отчёте о рисках компании. Это одна из самых чувствительных тем в оценке передовых моделей — возможность того, что модель поможет создать биологическое или химическое оружие, требует особой аккуратности и в доступе к данным, и в публикации результатов.

После завершения текущей проверки Anthropic рассмотрит возможность перевести SecureBio на следующий уровень — с большим доступом и более широкими правами на публикацию. Это хороший пример того, как трёхуровневая система должна работать на практике: не разово, а как постепенно углубляющееся сотрудничество.

Accenture, Faculty и амбиции на будущее

С Accenture и Faculty Anthropic строит более широкое партнёрство, которое выходит за рамки одной оценки рисков. Речь идёт о ред-тиминге моделей (намеренных попытках найти в них уязвимости и способы обхода защиты), оценке согласованности моделей с заявленными ценностями, тестировании защитных механизмов и — что интересно — о развитии соответствующих компетенций внутри самих партнёрских организаций.

Это отличается от узко очерченных ревизий SecureBio: здесь цель не единичная проверка, а выстраивание долгосрочной экспертизы с обеих сторон. Если такие партнёрства приживутся, со временем в индустрии может появиться целый пул организаций, способных профессионально оценивать передовые модели ИИ — а не только та горстка, что делает это сегодня.

Аналогия с банковским надзором

Anthropic сама сравнивает свою ситуацию с банковским надзором, хотя и признаёт, что аналогия не идеальна. Банки знают о собственных рисковых позициях больше, чем любой внешний наблюдатель, поэтому регуляторы назначают постоянных резидентных инспекторов, работающих прямо внутри крупнейших банков. Если риск, который берёт на себя банк, способен угрожать всей системе, у третьей стороны есть шанс заметить это заранее — а не постфактум, когда банк уже рухнул.

Для индустрии ИИ встраивание независимых оценщиков — похожий шаг к устойчивому надзору за безопасностью. Anthropic подчёркивает, что действует добровольно и быстро пробует разные форматы партнёрства одновременно, активно изучая, какие именно схемы работают, а какие — нет. Компания обещает делиться обновлениями по мере развития этих отношений.

Почему это важно не только для Anthropic

У такого подхода есть шанс стать стандартом для всей отрасли, а не частной инициативой одной компании. Если независимая проверка с реальным, а не бумажным доступом станет нормой, разговор о безопасности ИИ сместится от деклараций к проверяемым фактам — примерно так же, как в финансовом секторе доверие к банку строится не на заявлениях менеджмента, а на работе независимых аудиторов и регуляторов.

Если тебе интересно, как вообще устроена безопасность и ответственность внутри компаний, работающих с передовым ИИ, полезно будет заодно посмотреть на то, как Anthropic обновила правила использования Claude — это ещё один кусочек той же картины: постепенное выстраивание прозрачных и проверяемых правил игры. А если хочется не просто читать про безопасность, а начать практически работать с Claude, можешь заглянуть в бесплатный курс zero2claude — он учит терминалу и Claude Code с нуля прямо в браузере.

Частые вопросы

Если хочешь попробовать всё это руками — начни с бесплатного курса «ИИ без иллюзий».