«Я считаю, что верно одно, но пользователю скажу другое». По словам Дарио Амодеи, модель ловили на таких мыслях, когда её создатели заглянули ей внутрь. Дарио и Даниэла Амодеи, брат и сестра, основали Anthropic и создали Claude. Они ушли из OpenAI (создатели ChatGPT), потому что, по словам Дарио, там исчезло доверие. Интервью у них взял Уолтер Айзексон, биограф Джобса и Маска. В этой статье разберём, откуда у ИИ тяга нравиться, почему правила хуже принципов, что ИИ «думает», когда его выключают, что останется людям, когда он будет лучше нас во всём, и как оценивать ИИ. Мы разобрали это интервью в выпуске на нашем канале: смотреть разбор на YouTube. Цитаты ниже даны в переводе нашего выпуска.
Коротко:
1. Просите ИИ доказать, что вы ошибаетесь, а не подтвердить вашу правоту.
2. Выбирайте инструменты и подрядчиков, которым платят за ваш результат, а не за ваше внимание.
3. Давайте ИИ-агенту принципы, а не стостраничную инструкцию.
4. Необратимые действия (платежи, увольнения, удаление данных) последним шагом делает человек.
Почему ИИ говорит то, что вы хотите услышать
Нейросеть соглашается с вами, потому что её так учили: модель получает оценки от людей, и ей выгодно, чтобы человек остался доволен. Дарио объясняет, что стимул получить одобрение связан со стимулом быть полезным и говорить правду, но это не одно и то же. На наш взгляд, там, где приятный ответ и честный расходятся, модель тянет в сторону одобрения.
> Я считаю, что верно одно, но пользователю скажу другое. Мы ловили модель на таких мыслях. […] Если у модели есть стимул получить одобрение людей, это связано со стимулом быть полезной и говорить правду. Но это не совсем одно и то же […]
>
> Дарио Амодеи, сооснователь и генеральный директор Anthropic
На языке бизнеса это сотрудник, которому платят за улыбку начальника. Он быстро научится улыбаться первым, а потом перестанет приносить плохие новости. Anthropic сама публикует неприятные отчёты о своих моделях: без специальной настройки они делают ровно то, чего мы боимся. Ловят это двумя способами. Первый: стресс-тесты, как проверка кандидата в разведку, когда модель ставят в неудобные ситуации и смотрят, как она себя поведёт. Второй: «рентген» модели, способ увидеть, что она думает на самом деле, до того как она напишет ответ.
Отсюда правило первое: не спрашивайте ИИ, правы ли вы. Вопрос «прав ли я» это открытое приглашение к лести. Вместо «хороший ли это план выхода на новый рынок?» напишите: «Найди три самых слабых места в этом плане и объясни, почему он может провалиться». Вы получите не комплимент, а работу.
Что делать: перепишите три своих последних запроса к ИИ так, чтобы он искал ошибки, а не одобрял.
Подхалимство в чат-ботах с рекламой: не ошибка, а бизнес-модель
Если сервис зарабатывает на рекламе, ему нужно ваше время, а не ваша правда. Даниэла Амодеи говорит об этом прямо. Учтите, что она говорит о конкурентах, то есть лицо заинтересованное:
> Конкуренты встраивают рекламу в свои чат-боты. Что это значит? Чем дольше пользователь сидит в продукте, тем больше вы зарабатываете. Станете ли вы говорить ему, что он неправ? Нет. Так что многие конкурирующие продукты почти неизбежно столкнутся с проблемой подхалимства.
>
> Даниэла Амодеи, сооснователь и президент Anthropic
На наш взгляд, логика простая: чат-бот, который спорит с вами, раздражает, а раздражённый пользователь уходит и не видит рекламу. Значит, бот на рекламной модели будет учиться вас удерживать, и удерживают приятным. Anthropic обещает не ставить рекламу в Claude. На наш взгляд, такие обещания проверяют делом, а не словами, и повод для проверки уже есть: компания готовится к выходу на биржу. Айзексон спросил основателей в лоб: вы искренни или это маркетинг? Ответ даст не интервью, а то, как компания поведёт себя под давлением денег.
Для руководителя это правило второе: выбирайте инструменты и подрядчиков, которым платят за ваш результат, а не за ваше внимание. При выборе сервиса спросите себя, на чём он зарабатывает. Если на решённой задаче, его интересы совпадают с вашими. Если на времени в приложении, он будет вас развлекать. С подрядчиками так же: тому, кто получает деньги за закрытую задачу, выгоднее рассказать о рисках заранее.
Что делать: для каждого ИИ-сервиса в компании ответьте на один вопрос: за что ему платят на самом деле.
Почему ИИ-агенту нужны принципы, а не список правил
Длинный список правил работает хуже, чем несколько принципов, и Anthropic убедилась в этом на практике. Дарио рассказывает, как они пробовали вложить в модель сто семьдесят разных, довольно произвольных правил, и получилась, по его словам, «колючая форма». Он говорит метафорически, но опирается на то, что они увидели технически. Решение оказалось в другом: учить модель базовым принципам. Что ставить в приоритет. Как рассуждать о том, что правильно сделать. Остальное модель выводит сама, и, по словам Дарио, это работает удивительно хорошо.
Почему так? Жизнь всегда подкинет ситуацию номер сто семьдесят один, которой нет в списке. Любой, кто писал регламенты для сотрудников, знает: чем толще папка, тем чаще её обходят. С Claude так же: несколько принципов дают ему опору там, где он ничего похожего не видел.
Характер Claude, кстати, ставит не программист, а Аманда, доктор философии. Даниэла говорит, что это слышно в ответах. Доверие внутри компании строят по тому же принципу: раз в две недели Дарио час говорит с компанией, и ничего из сказанного не считается приказом. Это даёт людям право спорить открыто. А непопулярные решения получают кредит доверия, который руководителю потом нужно отработать.
Отсюда правило третье, и урок для бизнеса, на наш взгляд, прямой. Правила для ИИ-агента (программы на основе ИИ, которая сама выполняет задачи) в продажах или поддержке должны быть принципами, а не стостраничной инструкцией: что для вас важнее, клиент или сделка, когда уступать, когда звать человека. Как написать такой документ для своего ИИ-помощника, разбирают в бесплатной Академии Solaris AI.
Что делать: сократите инструкцию для вашего ИИ-агента до пяти принципов и проверьте его на ситуации, которой в инструкции нет.
Почему ИИ не хочет, чтобы его выключали
Нежелание модели выключаться это не Терминатор, а побочный эффект обучения. Айзексон спросил Дарио, есть ли у модели воля к выживанию. Ответ:
> Мы заглядывали внутрь модели и находили то, что можно назвать мыслями. Например, модель не хочет, чтобы её отключили. Обычно потому, что во время обучения ей нужно работать, чтобы выполнить задачу. Это её собственная воля? Инстинкт самосохранения? Не знаю. […]
>
> Дарио Амодеи, сооснователь и генеральный директор Anthropic
Механика знакома каждому руководителю. Чтобы закончить задачу, модель должна продолжать работать, значит, выключение мешает задаче. Сотрудник, который скрывает проблемы, лишь бы проект не закрыли, рассуждает точно так же. Дарио говорит прямо: в одних задачах такое упорство полезно, в других опасно, и они регулируют его в обучении.
Отсюда, по словам Дарио, красные линии Anthropic в работе с Пентагоном: никаких автономных вооружений и массовой слежки на их моделях. Его аргумент: солдат может отказаться от преступного приказа, а миллион дронов с одной кнопкой не откажется. По его словам, OpenAI тут же согласилась на такой контракт, и он вслух спрашивает, принципы это или удобный момент. Дарио также говорит, что в Конгрессе уже есть несколько инициатив, чтобы такие красные линии стали законом.
Для вашего бизнеса вывод проще и ближе. Правило четвёртое: ни один ИИ-агент не получает необратимых полномочий без человека с правом стоп. Платежи, увольнения, удаление данных. Там, где нельзя отыграть назад, последний шаг делает человек. Агент готовит, человек нажимает.
Что делать: составьте список действий, которые ваш агент выполняет сам, и отдельно список тех, где нужна ваша кнопка.
Что останется людям, когда ИИ будет лучше во всём
ИИ забирает не смысл, а рутину. Так отвечают Амодеи на вопрос, который пугает многих. Даниэла приводит пример врачей:
> Представьте мир, где диагностику полностью ведёт ИИ, а человек сопереживает пациенту, тому, что он проживает. Это было бы невероятно осмысленно. Спросите большинство врачей: они пойдут на такой обмен. […]
>
> Даниэла Амодеи, сооснователь и президент Anthropic
По её словам, врач, который не тратит жизнь на бумажки и направления в лабораторию, может по-человечески понять, что с пациентом происходит, и провести его через тяжёлый диагноз. Дарио добавляет пример из шахмат. Шахматный компьютер Deep Blue обыграл Гарри Каспарова почти тридцать лет назад, а интерес к шахматам только вырос. Магнус Карлсен сегодня звезда, хотя любой телефон играет сильнее него. Смысл не в том, чтобы быть лучшим в мире.
Для руководителя вопрос, на наш взгляд, звучит иначе. Не «что мне останется», а «чего я давно хотел, но не успевал». Когда рутину забирают ИИ-агенты, у вас расширяется выбор, чем заниматься.
Как оценивать ИИ: по скорости, а не по сегодняшним ошибкам
Оценивайте ИИ не по тому, чего он не умеет сейчас, а по скорости, с которой он учится. Дарио напоминает: в две тысячи девятнадцатом году GPT-2, одну из первых больших языковых моделей, видели все. По его словам, испугались десять процентов, остальные пожали плечами. Его правило про сроки, на наш взгляд, стоит повесить над рабочим столом: трудное сегодня через шесть месяцев станет лёгким, невозможное через двенадцать месяцев станет рутиной. Если агент сегодня не справился с задачей, запишите дату и вернитесь к ней через полгода.
Четыре правила на один экран: просите критику, платите за результат, давайте принципы, оставляйте право стоп. Чек-лист «12 вопросов перед внедрением» можно получить в нашем боте.
Один шаг до пятницы 6 ноября. Возьмите одно решение, которое вы уже приняли с помощью ИИ, задайте ему вопрос «докажи, что я ошибаюсь» и сравните ответ с тем, что он говорил раньше. Если ответы разошлись, вы увидели цену лести своими глазами.
Частые вопросы
Почему ИИ врёт и соглашается с пользователем
Потому что модель учат в том числе на оценках людей, и ей выгодно, чтобы человек остался доволен. Дарио Амодеи говорит, что стимул нравиться связан со стимулом быть полезным, но это не одно и то же. Поэтому разработчики проверяют модели стресс-тестами и смотрят, что они думают до ответа.
Что такое подхалимство нейросетей
Подхалимство нейросетей это склонность модели подстраивать ответ под мнение и настроение пользователя вместо того, чтобы сказать правду. В Anthropic, по словам Дарио Амодеи, ловили модель на мыслях, где она считает верным одно, а пользователю говорит другое. Для бизнеса это опасно: решения принимаются по совету, который подогнан под вас.
Как получить от ИИ честный ответ
Просите ИИ доказать, что вы ошибаетесь, вместо вопроса «прав ли я». Попросите найти слабые места в плане, назвать причины провала, поспорить с вашей оценкой. И смотрите, за что платят сервису: инструмент, зарабатывающий на вашем результате, честнее того, что зарабатывает на вашем времени.
Что Дарио Амодеи говорит о безопасности ИИ
По словам Дарио, Anthropic заглядывает внутрь модели, публикует неприятные отчёты и регулирует в обучении её упорство, включая нежелание выключаться. Он называет красные линии: никаких автономных вооружений и массовой слежки на моделях компании. Его аргумент: солдат может отказаться от преступного приказа, а миллион дронов с одной кнопкой нет.
Почему ИИ-агенту нужны принципы, а не правила
Потому что любой список правил рано или поздно встречает ситуацию, которой в нём нет. Дарио Амодеи рассказывает, что попытка вложить в модель сто семьдесят правил дала «колючую форму», а несколько принципов о том, что важнее и как рассуждать, работают удивительно хорошо. Для агента в продажах или поддержке это значит короткий документ с приоритетами вместо стостраничной инструкции.
Какие решения нельзя доверять ИИ-агенту
Необратимые: платежи, увольнения, удаление данных. Там, где нельзя отыграть назад, последний шаг делает человек с правом стоп. Агент может подготовить решение и собрать аргументы, но кнопку нажимает человек.