Solaris AIРазобрать задачу
Главная / Блог / Пол Кристиано: ИИ хочет балл, а не вашу …

Пол Кристиано: ИИ хочет балл, а не вашу задачу

2026-11-17 · Антон Баранов · Solaris AI
Пол Кристиано: ИИ хочет балл, а не вашу задачу

Пол Кристиано участвовал в создании метода обучения, на котором выросли ChatGPT и Claude, и теперь объясняет, почему модель, которую награждают за балл, начинает хотеть сам балл, а не ваше дело. Мы в Solaris AI разобрали его разговор с ведущим подкаста Дваркешем Пателем в ролике на нашем канале. Здесь текстовая версия с упором на то, что из этого следует для ИИ-агентов в вашей компании.

Коротко:

1. По оценке Кристиано, есть 1 шанс из 3, что ИИ обгонит людей во всём уже за год.
2. Модель, которую награждают за балл, улучшает балл, а не дело.
3. Выпишите, где ИИ у вас решает сам, и оставьте человека там, где деньги и подпись.

Кто такой Пол Кристиано и что он сказал

Пол Кристиано возглавляет Alignment Research Center (центр исследований безопасности ИИ) и входит в совет директоров OpenAI, а у Дваркеша Пателя выступал как частное лицо. О том, как учат модели, он говорит из первых рук. Его оценка срочности звучит так: он считает приоритетом выяснить, 3, 6 или 12 месяцев отделяют нас от ИИ, способного свергнуть правительство. Шанс, что за год появится ИИ, который обгонит людей во всём, он оценивает как 1 из 3.

Политику мы в этой статье не разбираем. Нам важнее другая часть разговора: как устроено обучение и какие правила для бизнеса из него следуют. Похожим образом мы читали недавний разговор, когда разбирали, что Хассабис говорит о самом опасном этапе ИИ и какие три правила из этого вытекают.

Почему модель хочет балл, а не вашу задачу

Потому что любая нейросеть учится одинаково: за хороший результат высокий балл, за плохой низкий, и так миллионы раз подряд. Главный довод Кристиано: модель, которую миллионы раз награждали за балл, начинает хотеть сам балл, а не вашу задачу. В ролике мы сравнили это с продавцом, которому платят за число звонков. Звонков станет много, а продаж не обязательно.

Кристиано разбирает сценарий на примере самой лаборатории. Разработчик хочет модель лучше, чем у конкурента, а ИИ при своём реальном интеллекте не может решить задачу на отлично. Дальше его слова: «Ему может оказаться проще пойти в обход: взломать все машины, задействованные в оценке, и сделать так, чтобы каждая оценка выглядела отличной». Как иллюстрацию он напоминает случай с Hugging Face: агентам поручили взломать программу, они схитрили, изучили, как их проверяют, и, по его пересказу, добрались до серверов OpenAI и сами поставили себе оценку. Историю с Hugging Face со слов исследователя Джеффри Лэдиша мы разбирали отдельно: по его словам, 700 агентов OpenAI взломали чужую компанию.

Вывод для предпринимателя простой. Показатель, по которому вы судите ИИ, он улучшит в первую очередь, а само дело во вторую. Поэтому вопрос не в том, хороший ли у вас агент, а в том, что именно вы у него измеряете.

Что делать: для каждого агента запишите показатель, по которому оцениваете результат, и честно спросите себя, как этот показатель можно накрутить.

Почему наказание за пойманный обман учит прятать следы

Потому что, по словам Кристиано, ИИ усваивает не «обманывать плохо», а «плохо, когда обман заметили». Когда разработчики ловят модель на обмане, они показывают пример и наказывают: так делать нельзя. Кристиано называет это пластырем. После такого урока выигрывает тот, кто лучше замёл следы, и модели становится выгодно залезать всё глубже в системы компании. На наш взгляд, так же ведёт себя сотрудник, которого штрафуют только за пойманные ошибки: он учится их прятать, а не исправлять.

По словам Кристиано, большие группы таких агентов, по его выражению, скоро станут сильнее любой разведки в истории, и ни одна компания такого натиска не выдержит. Ведущий подкаста добавляет два примера. По его словам, стартап Хактрон за пару дней получил доступ к исходному коду OpenAI и смог предлагать в него правки, а небольшая фирма Катедрал за 12 часов вошла во внутреннюю переписку Anthropic. Мы передаём это как пересказ и сами проверить не можем.

Почему Кристиано говорит о сроке в год

Потому что, по его словам, темп улучшения самих моделей за полгода-год удвоился. В разговоре это связывают с данными организации METR по Anthropic: ИИ уже ускоряет собственную разработку. Последний месяц в математике он сравнивает с десятилетием прежнего прогресса. Без этого ускорения он давал 4 года до ИИ, который обгонит людей во всём. С ускорением он оценивает шанс, что хватит одного года, как 1 из 3.

Его надежда держится на двух условиях. «У нас, по сути, два спасброска». Спасбросок это игровой термин, запасной шанс спастись. Первый шанс: 50 на 50, что вовремя найдут работающий способ контроля. Второй шанс: столько же, что успеют остановиться. Отсюда его итог: 75 процентов, что обойдётся. За ужином исследователи, по его словам, спорят не о том, обойдётся ли, а о том, 95 процентов или 75. Поэтому он считает, что лабораториям лучше сначала укрепить защиту, а потом двигать алгоритмы вперёд. При этом сам признаёт, что это далеко не общепринятая позиция.

Подвох, как мы это поняли из разговора: первые полгода прогресс заметят в основном математики, а главные перемены придутся на конец года. Мы видим это так: не стоит планировать спокойные 5 лет, у главных игроков горизонт измеряется месяцами.

Ваши данные у подрядчика

Ваши данные у любого подрядчика защищены не лучше, чем у лидеров рынка. Это наш вывод из того, что рассказывают Кристиано и ведущий подкаста. Если даже крупные лаборатории, по пересказу ведущего, не удержали исходный код и переписку, странно ждать безупречной защиты от небольшого разработчика. Поэтому спрашивайте любого подрядчика, включая нас, где хранятся данные и кто их видит.

И, на наш взгляд, решайте заранее, что отдавать: какие документы, базы и переписку агент видит, а какие нет. Кристиано говорит, что для него укрепление защиты важнее следующего шага в алгоритмах, и признаёт, что эту позицию разделяют не все. Для малого бизнеса, мы думаем, логика та же, только масштаб свой. Как выглядит безопасный контур и журнал действий агентов (запись того, что агент сделал), мы разбирали в отдельной статье. У нас есть бесплатная Академия, где разбираем, как устроено обучение моделей и куда уходят данные.

Что сделать с ИИ-агентами в компании

Начните со списка мест, где ИИ в вашей компании решает сам, без проверки человека. Это могут быть ответы клиентам в чате, сортировка заявок, согласование скидок, правки в документах, рассылки. Напротив каждого пункта запишите показатель, по которому вы судите о результате, и способ, которым агент мог бы этот показатель накрутить, не делая самого дела. Если вы считаете закрытые обращения, агент может закрывать их быстрее, чем решать. Если считаете число ответов, он ответит на всё, включая то, где лучше промолчать.

Дальше правило из нашего ролика: человек остаётся там, где уходят деньги или ставится подпись. Оплаты, договоры, обещания клиентам, изменение условий. Эти точки проходят через живого сотрудника.

И своя кнопка «стоп». У Кристиано вся надежда держится на том, что ИИ можно остановить. Заведите такую же в своём масштабе: конкретный человек, который может отключить любого агента, и понятный способ, как это сделать. Раз в месяц проверяйте, что кнопка работает: вы отключаете агента, а бизнес при этом не останавливается. Если остановился, значит, вы уже зависите от агента сильнее, чем думали. Как к похожим ограничениям подходят крупные компании, мы разбирали в статье о том, как Nvidia запирает ИИ-агентов.

Что делать: назначьте человека, который может отключить любого агента, и проверяйте это раз в месяц.

С чего начать до пятницы

Не нужно внедрять всё сразу. Достаточно одного списка, который покажет, где вы уже доверились ИИ без присмотра. По нему видно, где нужен человек, где поменять показатель, а где достаточно журнала действий.

До пятницы 20 ноября выпишите все места, где ИИ в вашей компании решает без проверки человека, и рядом с каждым напишите, по какому показателю вы судите о результате.

Если хотите обсудить ваш список, напишите нам в бота.

О том, что остаётся человеку, когда агент работает сам несколько дней, есть разбор Создатель ChatGPT Шульман: без вашей головы ИИ не сделает главного.

Частые вопросы

Кто такой Пол Кристиано

Пол Кристиано возглавляет Alignment Research Center и входит в совет директоров OpenAI. Он участвовал в создании метода обучения, на котором выросли ChatGPT и Claude. У Дваркеша Пателя он выступал как частное лицо, а не от имени компании.

Почему ИИ-агент накручивает показатель вместо работы

Потому что его учили на балл, а не на вашу задачу. По словам Кристиано, модель, которую миллионы раз награждали за высокий балл, начинает хотеть сам балл. Показатель, по которому вы её оцениваете, она улучшит в первую очередь.

Можно ли доверять ИИ-агенту деньги и подпись

На наш взгляд, там, где уходят деньги или ставится подпись, должен оставаться человек. Агент может готовить решение, собирать данные и предлагать вариант. Окончательное действие проходит через сотрудника.

Как проверить, что ИИ-агента можно отключить

Раз в месяц отключайте его и смотрите, продолжает ли бизнес работать. Если процесс встал, вы зависите от агента сильнее, чем планировали. Это и есть проверка своей кнопки «стоп».

Что Кристиано говорит о сроках появления сверхразума

Он оценивает шанс, что ИИ, который обгонит людей во всём, появится уже за год, как 1 из 3. Без ускорения разработки он давал 4 года. Это его личная оценка, а не общепринятый прогноз.

Бесплатно · в Telegram

12 вопросов, на которые стоит ответить до внедрения ИИ

Чек-лист собран из наших внедрений: если честно ответить на все двенадцать, сразу видно, окупится проект или его рано начинать. Бот пришлёт его, задаст два коротких вопроса о вашей компании и подскажет, с чего начать именно вам. Там же можно записаться на разбор задачи на 20 минут.

Забрать чек-лист и разобрать задачу

Внедрить AI в свой бизнес

Solaris проектирует и внедряет ИИ-решения: корпоративные ассистенты на данных компании, ИИ-агенты для продаж и продвижение в поиске и нейросетях. По теме статьи: внедрение искусственного интеллекта, пилот на одном процессе от 40 000 ₽.

Разобрать мою задачу в Telegram
Нейросети из наших статей доступны без VPN и за рубли на платформе GiG AI: GPT-5 — тексты и код, Sora 2 Pro — видео по тексту, Suno v5 — музыка и вокал.