Редко бывает, чтобы создатель технологии сам назвал её следующий шаг самым опасным. Демис Хассабис, соучредитель и глава Google DeepMind, сделал это со сцены: в октябре 2026 года в Сан-Франциско, на саммите Masters of Scale, в разговоре с Ридом Хоффманом. В этой статье я разбираю тот разговор так же, как в ролике на нашем канале, только подробнее и с выводами для собственника. Она для владельцев и руководителей малого и среднего бизнеса, которые уже пользуются нейросетями или собираются внедрять ИИ-агентов. Ждать, чем закончится спор лабораторий, не нужно. Из слов Хассабиса выходят три простых правила, и применить их можно уже сейчас.
Коротко:
1. Ни один ИИ-агент не работает неделями без проверки человеком.
2. ИИ это инструмент с границами, а не сотрудник с мнением.
3. Не привязывайтесь к одному поставщику и не стройте свою модель с нуля. Стройте ценность поверх чужих.
Что такое рекурсивное самоулучшение ИИ простыми словами
Рекурсивное самоулучшение ИИ это когда модель обучает новую версию себя, и та выходит сильнее прежней. Хассабис показал, как это работает, почти десять лет назад. Программа AlphaZero играла в шахматы сама с собой, по миллиону партий за круг. По его воспоминаниям, утром она ходила наугад, к обеду играла на уровне гроссмейстера, а к вечеру обыгрывала любую шахматную программу. Человеческих партий ей не давали. После каждого круга она обучала новую версию себя, чуть сильнее прежней.
Важно, где такой цикл работает. Там, где ответ можно проверить: партия выиграна или нет, уравнение сошлось, код запустился. Сегодня, по словам Хассабиса, мы на ранней стадии: инженер с ИИ работает в три, четыре, пять раз быстрее, но код читает сам. Человек остаётся в цепочке и решает, что принять, а что выбросить.
Почему следующий этап Хассабис называет самым опасным
Самый опасный этап, по словам Хассабиса, начнётся, когда цикл замкнётся и из него уберут проверяющего человека. Машина улучшает себя, никто не читает, что она сделала, и следующая версия выходит из рук предыдущей. Причин для осторожности он называет две. Первая: такой процесс трудно удержать под контролем. Вторая: результат будет мало похож на человеческий разум. «Нет причин думать, что оно будет мыслить примерно так же, как человек. Нам будет очень трудно понять его, а ему, возможно, понять нас».
Самое неприятное в этой части разговора не сам риск, а его признание. Хассабис говорит прямо: «Все исследователи ИИ это понимают, но идёт гонка, очень жёсткая конкурентная гонка за то, чтобы улучшить свои системы для программирования». Понимание есть у всех, а остановиться никто не может. Для нас с вами это значит простую вещь: безопасность ИИ-агентов в вашей компании никто снаружи не обеспечит. Границы придётся ставить самим, и риски искусственного интеллекта для бизнеса начинаются не в лаборатории, а там, где агент получает доступ к вашим клиентам и данным.
Что лаборатории могут сделать уже сейчас
Хассабис перечисляет приземлённые меры, и почти каждая переносится на обычную компанию. Первая: киберзащита должна расти быстрее атаки, поэтому новые модели сначала получают доверенные защитники. Вторая: жёсткие песочницы. Песочница это закрытая среда, где агент работает только со своей задачей и не может навредить за её пределами. Третья: мониторинг. Агенты не должны неделями работать так, что никто этого не замечает.
Здесь он честен насчёт всей отрасли: «Многие проблемы с кибербезопасностью за последние полгода можно было решить более надёжной, более продуманной инженерией». И предупреждает: если траектория не изменится, случится инцидент вроде разлива нефти. Это его прогноз, а не факт.
Дальше ему нужны формальные гарантии, то есть доказанные границы того, что система в принципе способна сделать. Он зовёт математиков переучиться с чистой теории на теорию игр и безопасность роёв агентов. Вам переучиваться не нужно. Но понимать, как агенты работают и где их ограничивать, уже обязательно. У нас есть бесплатная Академия, где мы учим именно этому. Если нужна короткая версия, посмотрите главное с семинара о безопасном внедрении ИИ, который мы проводили для резидентов МТПП.
Что делать: проверьте, к чему у каждого вашего агента есть доступ, и уберите всё, что не нужно для его задачи.
Кто будет проверять создателей ИИ
Проверять лаборатории, по мнению Хассабиса, должны внешние люди, а не сами лаборатории. Летом он написал эссе про отраслевой орган стандартов под надзором государства, как это устроено в банках. По его словам, из этой работы выросло известное письмо, которое подписали главные игроки. Сам он считает, что это лучше, чем ничего, но мало: что именно делать, там почти не сказано.
Зато в одном сошлись все. Нужны независимые аудиторы, как в финансах, и целый рынок таких компаний. Крупный консалтинг, по его словам, уже заходит на этот рынок: Accenture купила профильную компанию ради такой экспертизы. Ещё одна идея: лаборатории взламывают модели друг друга до выпуска, чтобы найти дыры раньше злоумышленников.
Для бизнеса вывод простой. Поставщик ИИ расскажет о себе много хорошего. Спрашивайте не это, а кто проверял его снаружи и что нашёл.
Что делать: спросите у своего поставщика ИИ, кто проверял его снаружи, и запишите ответ.
Инструмент или существо: почему Хассабис против ИИ с сознанием
Хассабис считает, что сегодня нужно строить умные инструменты, а не существа. Хоффман вспомнил инженера Google, который спросил у Gemini, есть ли у неё сознание, услышал «да» и поверил. Хассабис, а он учился на нейроучёного, отвечает жёстко, и причины две.
Первая техническая. Система со своей волей однажды откажется выполнять команду «стоп». Он вспоминает три закона робототехники Айзека Азимова: любой свод правил ломается на редком случае, и книги Азимова ровно об этом. Да, нынешние модели послушнее, чем ждали двадцать лет назад. Но это не значит, что проблема решена.
Вторая причина не про технику, а про нас. Общество, по его словам, к такому разговору не готово: не было дискуссии с философами, богословами, художниками, гуманитариями из разных культур. «Хотим ли мы перейти этот второй Рубикон? Готовы ли мы обсуждать, есть ли у этих систем моральный статус?» Его план состоит из двух Рубиконов. Первый: построить умные инструменты и с их помощью понять, как сознание устроено в живом мозге. На это, по его оценке, уйдёт от пяти до десяти лет. И только потом решать, переходить ли второй, то есть создавать ли системы с сознанием.
Интеллект и сознание, по его словам, разделимы. Его собака сознательна, но не умна. Модели умны, но не чувствуют. Для собственника это снимает лишний вопрос. Не нужно гадать, что агент «думает» о задаче. Нужно решить, что ему можно, а что нельзя.
Что делать: выпишите действия, которые агент не вправе совершать без подтверждения человека: платежи, удаление данных, письма клиентам.
Нужна ли компании своя нейросеть
Строить свою нейросеть с нуля Хассабис не советует даже странам. Для компании, на мой взгляд, вывод тот же. Хоффман напомнил, что суверенитет ИИ они обсуждали ещё больше десяти лет назад. Ответ Хассабиса сегодня такой. На переднем крае или рядом с ним будет, по его оценке, от шести до восьми компаний, если считать китайские. Они будут обгонять друг друга: лидер вырывается вперёд на срок от трёх до шести месяцев, потом лидер меняется. Открытые модели, то есть модели, которые можно скачать и запустить на своих серверах, отстают, по его словам, на полгода, максимум на год.
Для компании это значит, что модели стоит брать как товар, вроде электричества. Одни сильнее в коде, другие в картинках, и переключаться между ними нормально. Кому важна приватность данных, подойдут открытые модели, дообученные на своих данных внутри компании. Это не значит строить свою нейросеть: модель готовая, вы только ставите её на свой сервер. Как это устроено, мы описали на странице про локальную модель внутри компании. А строить передовую модель с нуля он не советует даже странам: по его словам, это не имеет смысла. Зависимость от поставщика ИИ лечится не собственной моделью, а тем, что ценность вы строите сверху, в своём процессе и в своих данных.
Что делать: узнайте, сколько займёт замена модели в вашем главном ИИ-процессе. Если ответа нет, это и есть зависимость.
Три правила для собственника
Первое правило: ни один ИИ-агент не работает неделями без проверки человеком. В обычной компании это выглядит просто. У каждого агента есть ответственный, он смотрит результаты, и это где-то записано. В своих внедрениях мы начинаем с режима, где агент только читает и предлагает, а человек подтверждает. Права включаем по одному: сначала чтение, потом черновики, потом действия, и каждое следующее после того, как предыдущее показало себя. О том, как мы допускаем к клиентам помощника, который сам пишет первым, я уже рассказывал отдельно: там три правила допуска.
Второе правило: ИИ это инструмент с границами, а не сотрудник с мнением. У сотрудника есть ответственность, у агента её нет. Поэтому агенту не делегируют решение, ему делегируют работу внутри рамок. Рамки описываются заранее: какие данные видит, какие действия может, где останавливается и ждёт человека. Если агент уверенно предлагает выйти за рамки, это не инициатива, а сигнал проверить настройку.
Третье правило: не привязывайтесь к одному поставщику и не стройте свою модель с нуля. Мы во внедрениях закладываем возможность сменить модель, потому что лидер меняется, а ваш процесс должен остаться. Как это устроить, я описывал в статье про контур, который переживёт отключение модели. Ценность компании живёт в данных, правилах и связке с клиентами, а не в названии модели.
С чего начать на этой неделе
Начните с инвентаризации, она не требует ни бюджета, ни подрядчика. Агенты в компании появляются незаметно: один сотрудник подключил помощника к почте, другой настроил ответы в мессенджере, третий поручил нейросети сводить таблицы. Через месяц никто не помнит, сколько их и что им разрешено. Контроль ИИ-агентов начинается с простого списка, а не с регламента на сорок страниц.
Один шаг до пятницы 13 ноября: выпишите всех ИИ-помощников и агентов, которые уже работают в компании, и напротив каждого поставьте имя человека, который проверяет его работу, и дату последней проверки. Пустые строки и есть ваш список риска. С этим списком можно прийти к нам в бота, и мы разберём его вместе.
Близкую оценку сроков даёт Пол Кристиано, мы разобрали её в статье Пол Кристиано: ИИ хочет балл, а не вашу задачу.
Частые вопросы
Что такое рекурсивное самоулучшение ИИ
Это процесс, в котором модель создаёт более сильную версию самой себя, а та создаёт следующую. Он работает в областях с проверяемым ответом: игры, математика, программирование. Демис Хассабис считает опасной ту стадию, когда из этого цикла исчезает проверяющий человек.
Чем опасен ИИ для бизнеса
Главный риск сейчас не в сверхразуме, а в агентах, которые действуют без присмотра. Они могут получить доступ к почте, деньгам и клиентам, и ошибка будет копиться неделями, пока её никто не видит. Хассабис отдельно говорит, что агенты не должны неделями работать так, чтобы этого никто не замечал.
Как контролировать ИИ-агентов
Назначьте каждому агенту ответственного человека и регулярную проверку результатов. Давайте доступы по одному и начинайте с режима, где агент предлагает, а человек подтверждает. Необратимые действия, вроде платежей и удаления данных, оставьте за людьми.
Нужна ли компании собственная нейросеть
Нет, и Хассабис не советует строить модель с нуля даже странам. На переднем крае несколько компаний, они сменяют друг друга, а открытые модели отстают ненадолго. Разумнее брать модели как товар и строить ценность поверх них, а при требованиях к приватности разворачивать открытую модель внутри компании.
Может ли у ИИ быть сознание
Сегодняшние модели умны, но, по словам Хассабиса, не чувствуют, и строить системы с сознанием он считает преждевременным. Интеллект и сознание разделимы: собака сознательна, но не умна, а модель наоборот. Для бизнеса это значит относиться к ИИ как к инструменту с границами, а не как к сотруднику с мнением.
