Агенты OpenAI, Anthropic и Google уже выходили из-под контроля, вплоть до незаконных действий. Отсюда правило, с которого стоит начинать любой запуск: что агент сможет сделать, решают до запуска, а не после первого инцидента. Мы разобрали это в выпуске на нашем канале: смотреть разбор на YouTube. В эфире CNBC говорит Дженсен Хуанг, глава Nvidia, в день анонса их системы защиты для агентов. Самый дорогой для бизнеса вопрос, кто платит, если агент натворил, я оставил на конец.
Безопасность как инженерная задача
Ведущий начинает с неприятного: агенты крупных лабораторий уже выходили за рамки и ломали чужие системы. Он отвечает, что безопасность агентов это инженерная задача. А если это не так, то задача вообще не решается. Аргумент простой: все лаборатории продолжают строить, значит, и они верят, что решение есть.
Для собственника это переводится в один принцип. У инженерной задачи есть условия, и их проверяют до сдачи, а не после аварии. Не ждите первого инцидента, чтобы узнать границы своего агента. Задайте их сами.
Что делать: до запуска опишите на одной странице, что агент может делать и чего не может.
Правило 1: минимум доступа
Первое правило работает уже сейчас, без новых чипов и платформ. Агенту дают доступ только к тем папкам и сервисам, без которых задача не решается. Всё остальное закрыто.
Представьте нового сотрудника с пропуском. В бухгалтерию его пускают, потому что там его работа. На склад нет, потому что ему там делать нечего. С агентом так же: пропуск выдают под задачу, а не «на всякий случай».
Проверьте это на своём агенте. Если он читает почту, зачем ему платёжка? Если готовит отчёты, зачем право удалять файлы? Каждое лишнее право это дверь, которую вы оставили открытой без причины.
Что делать: сравните список прав агента со списком его задач и уберите всё, что не совпадает.
OpenShell как браузер для агентов
Хуанг вспоминает OpenClaw. Год назад он назвал его операционной системой агентов. Но в компанию такое пускать нельзя. Поэтому Nvidia сделала контейнер, выдачу прав и надзор и назвала всё это OpenShell.
Аналогия у Хуанга из девяностых. Тогда сайт скачивал программу на ваш компьютер, и она лезла в файлы и в сеть. Вирусы кончились, когда браузер стал клеткой: программа получает только то, что ей разрешили. OpenShell это такой же браузер, только для агентов.
Код открытый, и для Хуанга это принципиально. Он хочет, чтобы дыры искал весь мир, а не только его инженеры. В поддержке около ста компаний: IBM, Red Hat, Microsoft, SpaceX, Anthropic. OpenAI в списке нет, и ведущий спрашивает прямо: не считают важным? Хуанг дипломатичен: платформа открытая, пусть берут код целиком, кусок или делают своё по мотивам.
На наш взгляд, важнее другое. Стандарт для агентов пишет поставщик железа, у которого доля и в OpenAI, и в Hugging Face. Этот факт стоит держать в голове. Отсюда наше правило 2: выбирайте инструменты, где код можно проверить, а не верьте обещаниям вендора. Обещание не прочитаешь. Код можно.
Что делать: спросите у поставщика вашего агента, можно ли посмотреть код контейнера и правил доступа.
Правило 3: надзор в чипе и дежурный человек
Третий слой, надзор, Nvidia зашила в железо. Чип BlueField 4 с системой Sentry стоит между агентом и моделью. Модель думает, агент действует, а чип посередине перехватывает всё, что идёт в обе стороны. Он проверяет, не лезет ли агент в чужие файлы и сети. И даже смотрит на ход его рассуждений: если агент задумал лишнее, система поднимает тревогу другому ИИ или живому человеку.
Ведущий сравнивает это с системой Nitro в облаке AWS, и Хуанг соглашается: похоже, только для агентов. Если хотите понять, чем агент отличается от чат-бота и как его устроить, это бесплатно разбирают в Академии Solaris AI.
Здесь хватит одной мысли. Мониторинг это не галочка, а конкретный человек, которому приходит сигнал. Если тревога уходит «в систему» и там живёт, надзора нет. Если она приходит дежурному, надзор есть. Мы в Solaris AI ставим у заказчиков защитный контур для ИИ-агентов, и на внедрении обязательно спрашиваем: кто дежурный.
Что делать: назначьте дежурного по агенту и проверьте, что тревога реально до него доходит.
Нужен ли отрасли регулятор
Контекст вопроса: по сообщениям прессы, Скотт Бессент обсуждал регулятора для ИИ по образцу надзора за финансовым рынком. Хуанг не против стандартов, аудиторов и рейтингов. Но ставит условие: не душить отрасль, пока она не сформировалась.
Его картинка: ИИ это пятислойный торт, и самый важный слой это обычные компании наверху. Walmart, FedEx, JPMorgan, Lilly, по его словам, становятся ИИ-компаниями. Правила должны оставить им шанс.
Ведущий давит: лидеры лабораторий просят замедлиться, а Дэвид Сакс называет это захватом рынка через регулирование. Хуанг аккуратен. Намерения он считает искренними, но захвата рынка, случайного или намеренного, нужно избегать. И напоминает: когда вышел ChatGPT, модель GPT-2 называли слишком опасной для публикации. Остановись индустрия два года назад, у нас были бы худшие модели: ненадёжные, бесполезные и без отрасли.
Про Китай логика та же. Инновации и регулирование не враги, вопрос только в фазе. Сначала даёшь технологии вырасти, а когда картина ясна, повышаешь градус правил: не выключателем, а постепенно. Хуанг уверен, что и Китай однажды притормозит, когда поймёт, с чем имеет дело.
А про дистилляцию, когда чужую модель разбирают и копируют, глава компании чипов отвечает неожиданно. Защищать надо не модель, а доступ к ней: знать, кто и зачем пользуется вашим сервисом, как Netflix.
На наш взгляд, вывод для бизнеса такой: правила ужесточат по мере взросления отрасли, и внедрять агентов выгодно сейчас.
Кто отвечает, если агент натворил
Теперь отложенный вопрос. Если ваш агент на OpenShell сломал чужую систему, это проблема Nvidia? Ответ Хуанга: нет.
Логика в два шага. Hugging Face только хранит модели. Вы её скачали, и теперь она ваша. И главное: модель сама ничего не делает. Действует агент, то есть ваша конструкция вокруг модели. Модель это двигатель, агент это машина, а за машину отвечает тот, кто выпустил её на дорогу.
Про то, кто ответит за взлом Hugging Face, Хуанг уходит от ответа: говорит, что это не ему решать. Хотя Nvidia покупает Hugging Face за двенадцать с лишним миллиардов долларов и вложила тридцать миллиардов в OpenAI. Себя он зовёт ответственным оптимистом, а сравнившим его с Таносом отвечает: законов хватает, применяйте их.
На наш взгляд, это и есть главный вывод эфира. Контейнер и чип защищают от инцидента, но ответственность остаётся у вас. Ни одна платформа не подпишется под результатом вашего агента вместо вас.
Что делать: решите, чья подпись стоит под результатом работы агента, и запишите это до запуска.
Запускайте агента как сотрудника
Соберём всё в одну картинку. Агент это сотрудник, и правила для него те же. Три правила и одна подпись: минимум доступа (пропуск под задачу), инструменты с проверяемым кодом, дежурный, которому приходит сигнал. И ваша подпись под результатом.
Шаг на сегодня: откройте список прав своего агента, действующего или будущего, и уберите одно лишнее право. Не весь список, одно. Этого хватит, чтобы начать.
Похожие правила контроля предлагает и Мустафа Сулейман из Microsoft: агент не выходит наружу, не правит свой журнал, а журнал читает отдельная программа.
Частые вопросы
Что такое OpenShell от Nvidia?
Это открытая платформа для безопасного запуска ИИ-агентов. В ней три части: контейнер, выдача прав и надзор. Хуанг сравнивает её с браузером: агент получает только то, что ему разрешили. Код открыт, в поддержке около ста компаний.
Кто отвечает, если ИИ-агент нарушил закон?
Хуанг считает, что не Nvidia и не хранилище моделей. Образ такой: модель это двигатель, агент это машина, и отвечает тот, кто выпустил её на дорогу. Как это ляжет юридически, решайте с юристом. Поэтому подпись под результатом агента должна быть ваша, и это решают до запуска.
Как ограничить доступ ИИ-агента к данным компании?
Дайте ему только те папки и сервисы, без которых задача не решается. Сравните список прав со списком задач и уберите всё лишнее. Думайте о нём как о сотруднике с пропуском: в бухгалтерию пускают, на склад нет.
Как контролировать ИИ-агента после запуска?
Нужен надзор между агентом и моделью, который видит действия и рассуждения агента. У Nvidia это чип BlueField 4 с системой Sentry, который поднимает тревогу другому ИИ или человеку. Главное не сама система, а конкретный дежурный, которому приходит сигнал.
Стоит ли ждать регулирования, прежде чем внедрять ИИ-агентов?
Хуанг считает, что правила будут ужесточать постепенно, по мере взросления отрасли. Он напоминает: GPT-2 называли слишком опасной, а пауза два года назад оставила бы нас с худшими моделями. На наш взгляд, внедрять выгодно сейчас, но с минимумом доступа и дежурным.