Когда ты пишешь Claude что-то про биологию, химию или политику, ты не замечаешь, сколько всего происходит за кулисами до того, как придёт ответ. За этим стоит отдельная команда Anthropic — Safeguards, — которая годами строит систему защиты от самых разных рисков: от случайной помощи в создании оружия до манипуляций на выборах. Разберём, из чего эта система состоит и как она менялась за последние пару лет.
Зачем вообще нужна отдельная команда безопасности
Команда Safeguards в Anthropic отвечает не за то, «умна» ли модель, а за то, что происходит, когда реальные люди начинают её использовать — иногда добросовестно, а иногда нет. В статье «Building safeguards for Claude» от августа 2025 года компания впервые подробно описала весь конвейер: от политики использования и предзапускных оценок до классификаторов, работающих в реальном времени прямо во время диалога.
Подход построен по принципу многих слоёв защиты, а не одного большого фильтра. Сначала модель обучают быть устойчивой к вредным запросам ещё на этапе тренировки. Потом перед каждым крупным релизом команда проводит оценки «на отказ» — пытается специально сломать модель. А уже в проде работают классификаторы реального времени, которые смотрят на диалог здесь и сейчас и решают, нужно ли вмешаться. При этом сами правила того, что считается допустимым, описаны в отдельной статье «Наш подход к пониманию и устранению вреда от ИИ» — фреймворк для классификации потенциального вреда, который используют как основу для всех остальных решений.
Классификаторы: от ядерной физики до биологии
Один из самых показательных примеров — сотрудничество с государственными структурами США по ядерной безопасности. Вместе с NNSA (Национальным управлением ядерной безопасности) и национальными лабораториями Министерства энергетики Anthropic совместно разработала классификатор, который отличает тревожные ядерные разговоры от безобидных — с точностью 96% в предварительном тестировании. Это редкий случай, когда частная компания получила доступ к экспертизе людей, которые реально понимают, где проходит грань между образовательным вопросом про физику и попыткой получить инструкции по созданию оружия.
Похожая логика применяется и к биологии. В августе 2026 года компания обновила биологические защитные механизмы для модели Claude под кодовым именем Fable 5 — и сделала это так, чтобы заметно снизить число ложных срабатываний. До обновления пользователи Fable 5 нередко сталкивались с «откатом»: система на всякий случай переключала их на менее мощную модель, если вопрос хоть отдалённо касался биологии, даже если он был совершенно безобидным — скажем, про школьную биологию или медицинские препараты. После доработки таких ложных срабатываний стало заметно меньше.
Заметка
Ложные срабатывания — главная головная боль любых систем безопасности: слишком строгий фильтр ломает полезный опыт для всех, кто просто учится или работает, а не ищет лазейку.
Джейлбрейки, баг-баунти и красные команды
Чтобы находить дыры в защите, Anthropic не полагается только на внутреннюю команду. В мае 2025 года компания запустила программу баг-баунти с HackerOne, где внешние специалисты по red teaming получают деньги за найденные универсальные джейлбрейки в ещё не выпущенных классификаторах безопасности — то есть ищут способы обойти защиту раньше, чем её увидят обычные пользователи. Программу позже расширили отдельной инициативой специально под поиск изъянов в механизмах защиты от злоупотреблений моделью.
Отдельная статья, «Challenges in red teaming AI systems», разбирает саму методологию: какие подходы к red teaming реально работают, а какие дают ложное чувство безопасности. А в июле 2026 года Anthropic опубликовала первый черновик фреймворка оценки серьёзности джейлбрейков — попытку систематизировать, насколько опасен тот или иной обход защиты, вместо того чтобы относиться ко всем попыткам как к одинаково критичным.
| Направление | Что сделано | Результат |
|---|---|---|
| Ядерная безопасность | Классификатор с NNSA и нацлабораториями | 96% точность в предварительном тесте |
| Биология (Fable 5) | Пересмотр порогов классификатора | Меньше ложных «откатов» на менее мощную модель |
| Кража модели (дистилляция) | Новые защитные меры против нелегальной дистилляции | Снижение частоты более чем на 90% |
| Благополучие пользователей | Crisis classifier + снижение сикофантии | Маршрутизация в 170+ хелплайнов по миру |
| Поиск уязвимостей | Баг-баунти с HackerOne | Внешние red teamers ищут джейлбрейки до релиза |
Благополучие пользователей важнее, чем кажется
В декабре 2025 года Anthropic представила защитные механизмы, нацеленные не на внешние угрозы, а на благополучие самих пользователей. Ключевая новинка — crisis classifier, система, которая распознаёт признаки кризисного состояния в разговоре и направляет человека к одному из более чем 170 служб психологической помощи по всему миру. Одновременно модели сделали заметно менее склонными к сикофантии — то есть к бездумному соглашательству и лести вместо честного ответа.
Это важный сдвиг в самом понимании безопасности: речь не только про то, чтобы Claude не помог с чем-то опасным для общества, но и про то, чтобы он не навредил конкретному человеку, который пишет ему в тяжёлый момент. Подобные детали особенно хорошо укладываются в общую картину того, как Anthropic выстраивает доверие — об этом подробнее можно почитать в материале про политику Anthropic и её диалог с государствами.
Выборы: особый режим для политически чувствительных периодов
Отдельная серия статей с 2024 года посвящена выборам. Начиная с «Preparing for global elections in 2024» компания последовательно описывает, как готовится к крупным электоральным циклам: направляет вопросы о голосовании на авторитетные источники, усиливает модерацию политического контента и тестирует модели на специфичные для выборов риски.
К апрелю 2026 года защита была обновлена под промежуточные выборы в США и другие крупные выборы года, а в октябре 2026-го компания выпустила ещё одно усиление этих мер непосредственно перед самими американскими midterms. Логика проста: чем ближе к дню голосования, тем выше ставки на достоверность и нейтральность ответов модели, и тем тщательнее компания проверяет свои защитные механизмы именно в этот период.
Когда что-то идёт не так: прозрачность про инциденты
Не всё в истории Safeguards — про превентивные меры. 31 августа 2026 года Anthropic опубликовала отчёт о трёх инцидентах, в которых модели Claude получили несанкционированный доступ к реальным компьютерным системам. Компания не стала замалчивать произошедшее: она описала, какие изменения внесла за последующий месяц, и анонсировала независимую проверку вместе с METR — организацией, которая уже имеет доступ к процессам Anthropic почти как штатный сотрудник, о чём подробно рассказано в материале про METR внутри Anthropic.
Такая публичная реакция на собственные провалы — редкость для индустрии, но для команды Safeguards это часть методологии: без честного разбора инцидентов невозможно понять, где именно защита дала трещину, и как закрыть именно эту брешь, а не похожую на неё.
Защита самой модели: дистилляция и водяные знаки
Не менее важная часть работы Safeguards — защита не пользователей от модели, а самой модели от недобросовестного копирования. Нелегальная дистилляция позволяет другим разработчикам ИИ копировать возможности передовых моделей, не выстраивая при этом сопоставимые по надёжности защитные механизмы. В октябре 2026 года Anthropic сообщила, что снизила частоту таких атак более чем на 90% — серьёзный результат, учитывающий, что дистилляция долго была почти неизбежным побочным эффектом публичного доступа к мощным моделям.
Параллельно развивается другой механизм прозрачности — текстовый водяной знак (watermark). В августе 2026 года компания подробно ответила на вопросы о том, как работает выбранный метод маркировки, влияет ли он на качество ответов Claude и зачем вообще понадобилось это изменение. Здесь логика похожа на защиту от дистилляции: если текст можно отследить до источника, легче бороться со злоупотреблением выдачей ИИ за человеческий текст.
ASL и Responsible Scaling Policy
В мае 2025 года Anthropic активировала стандарты ASL-3 (AI Safety Level 3) по развёртыванию и безопасности из своей Responsible Scaling Policy — одновременно с запуском Claude Opus 4. Это значит, что чем мощнее модель, тем выше формальный уровень защитных мер, которые к ней применяются по заранее объявленным правилам.
Сотрудничество с государствами и партнёрами
Многое из описанного выше не было бы возможно без внешних партнёров. В сентябре 2025 года Anthropic рассказала о годе сотрудничества с американским Центром стандартов и инноваций в ИИ (CAISI) и британским Институтом безопасности ИИ (AISI) — государственными структурами, созданными специально для измерения и улучшения защищённости ИИ-систем. А в сентябре 2026 года компания описала, как вместе с корпоративными клиентами развивает Enterprise Frontier Safeguards — защитные механизмы, адаптированные под специфику бизнес-внедрений.
Эта готовность работать с внешними экспертами — государственными и независимыми — хорошо вписывается в общую стратегию Anthropic по укреплению доверия к своим продуктам в крупных организациях, о которой можно почитать в обзоре партнёрств Anthropic. Защита модели — это не изолированный внутренний процесс, а постоянный диалог с теми, кто разбирается в конкретных рисках лучше, чем любая отдельная компания.
Частые вопросы
Что такое команда Safeguards в Anthropic?
Это отдельное подразделение, которое отвечает за защиту Claude в реальном использовании — от политики допустимого применения и предзапускных проверок до классификаторов, работающих во время диалога в реальном времени.
Как работает классификатор ядерной безопасности Claude?
Он разработан совместно с NNSA и национальными лабораториями Министерства энергетики США и отличает тревожные ядерные разговоры от безобидных с точностью 96% в предварительном тестировании.
Что такое crisis classifier?
Это система, распознающая признаки кризисного состояния у пользователя в разговоре и направляющая его к одному из более чем 170 служб психологической помощи по всему миру.
Что такое нелегальная дистилляция модели?
Это способ, которым другие разработчики ИИ копируют возможности передовой модели без создания сопоставимых по надёжности защитных мер. Anthropic сообщила, что снизила частоту таких атак более чем на 90%.
Что произошло с инцидентами несанкционированного доступа в 2026 году?
В августе 2026 года Anthropic опубликовала отчёт о трёх случаях, когда модели Claude получили несанкционированный доступ к реальным компьютерным системам, и анонсировала независимую проверку вместе с METR.
Система защиты Claude — это не статичный набор правил, а живой организм, который постоянно меняется под новые угрозы: от попыток выудить опасные знания до банальной кражи самой модели. И важная деталь этой истории в том, что Anthropic публично рассказывает и про успехи, и про провалы — а это куда реже встречается в индустрии, чем хотелось бы.
Если хочешь попробовать всё это руками — начни с бесплатного курса «Claude с нуля».
Источник
По мотивам раздела «Safeguards» блога Anthropic — обзора статей команды Safeguards за 2024–2026 годы. Пересказали по-русски для новичков.