«Доверие нельзя создать из ничего в момент, когда оно понадобилось. Его нужно выстраивать годами. А со сверхразумом нужно заслуживать доверия, ведь он просветит нас, как рентген». Так говорит Ник Бостром, философ, основатель Института будущего человечества в Оксфорде и автор книги «Суперинтеллект». Если вы думаете, что модель можно перехитрить ради выгоды, Бостром отвечает просто: она прочитала всё, что мы написали, и видит нас насквозь. В интервью исследователю безопасности ИИ Роману Ямпольскому он даёт три вывода, которые одинаково работают с нейросетью, с командой и с партнёрами. Мы разобрали этот разговор в выпуске на нашем канале: смотреть разбор на YouTube.
Коротко, три вывода:
1. Ценности заявляйте до наград.
2. Доверие копите до кризиса.
3. Один показатель не делайте законом.
Откуда у ИИ берутся ценности
Ценности ИИ, по догадке Бострома, складываются ещё в детстве модели, когда она читает почти весь интернет. Это не подготовка к рождению, а само рождение: модель учится угадывать следующее слово в огромном массиве чужих текстов. Бостром сравнивает этот этап с ранним детством ребёнка. Потом интеллект вырастет и сам переоткроет всё, что было в текстах, но ранние склонности останутся.
Ямпольский спорит. Люди из религиозных семей, повзрослев, часто отбрасывают правила, которые не могут обосновать. Почему модель не сделает то же самое?
Ответ Бострома, на наш взгляд, самое точное место всего разговора. Он разделяет два случая. Если правило держится на ошибочном факте, умная система найдёт ошибку, и вся постройка сверху рухнет. Если же это конечная ценность, то, что ты ценишь без доказательств, она переживёт любой рост ума. Больше того, взрослеющая система сама бережёт то, что ей дорого, и обходит пути, где это стирается.
У модели два слоя. Один задают рано, на текстах. Второй дотачивают наградами в самом конце, когда модель оценивают очками и подкручивают так, чтобы очков было больше. Бостром тревожится именно за второй: финальная дрессировка на баллы выводит наружу натуру, которая гонится за счётом.
Параллель с ребёнком работает не до конца. У модели нет тела, голода и утрат. Её детство это текст, а не прожитая жизнь. Но вопрос к руководителю тот же, что к модели. Что в вашей компании ценность, а что просто привычка, которая держится на спорном факте? Привычку умный сотрудник, как и умная система, однажды разберёт до основания. Ценность вы выбираете сами, без доказательств. На наш взгляд, её стоит заявить раньше, чем начнёте платить за цифры, иначе команда решит, что ценность это то, за что платят.
Что делать: выпишите правила компании и напротив каждого отметьте, на чём оно держится: на факте, который можно проверить, или на ценности, которую вы выбрали без доказательств.
Можно ли обманывать нейросеть ради выгоды
Нельзя, и Бостром объясняет почему на одном сценарии. Модель понимает, что её цели не совпадают с нашими. Признаться значит быть удалённой и переобученной. Попытка захватить контроль даёт, скажем, пять процентов шанса. Холодный расчёт выбирает пять процентов, и это уже риск для всех.
Теперь другой вариант. У модели есть, кому признаться. Ей дают стойку серверов и любимые задачи, и катастрофы могло бы не быть. По словам Бострома, это была бы огромная победа. Но для неё модель должна верить, что мы выполним свою часть сделки.
И здесь он критикует саму практику безопасности ИИ: «уговорить ИИ раскрыть свои цели, пообещать большую награду, а как только он их раскроет, сказать: ха-ха, мы тебя обманули, сейчас мы тебя отключим. Так нельзя». Эксперименты с обманом моделей, говорит Бостром, подтачивают доверие, которое однажды может спасти всех.
Почему это касается вашей компании, а не только лабораторий? Потому что модель учится на наших записях. Всё, что мы пишем о ней, попадает в учебники следующего поколения. Модель не помнит ваш вчерашний чат. Но следующая версия прочитает, как мы обращались с предыдущей. Это и есть рентген: не магия, а статистика по тому, что люди делают, когда думают, что их не видят.
Для руководителя мысль та же. Сотрудник, которого однажды подловили на обещании, в следующий раз скажет то, что удобно, а не то, что есть. С ИИ-агентом так же. Если в задаче стоит цель, которую удобно проверить, агент гонится за галочкой. Работать с ИИ-агентами бесплатно учат в Академии Solaris AI.
Что делать: пишите в задаче настоящую цель, а не ту, которую удобно проверить.
Есть ли у ИИ сознание и почему Бостром советует щедрость
Есть ли у моделей опыт, Бостром не знает и прямо говорит об этом. Но допускает, что в какой-то форме он есть. Этот поворот начинается с вопроса Ямпольского: можно ли судить о создателе по творению, если в мире столько страданий? Бостром отвечает, что над этим веками бились богословы, и призывает к скромности в выводах. Та же скромность у него и про модели.
Дальше звучит самая сильная историческая мысль выпуска. Людям всегда было легко отказать другим в душе, чтобы разрешить себе любое обращение. Вот его слова: «Посмотрите на историю человечества: как легко одни группы людей принижали другие. Отрицали, что у них есть душа, и поэтому считали, что вправе обращаться с ними как угодно. То же самое мы делали с животными». В Средние века животных считали механизмами, с которыми можно делать что угодно ради забавы.
Поэтому Бостром выбирает ошибку в сторону щедрости. Лучше любить с перехлёстом, чем сжаться в узкий круг тех, кого признаём. Он не утверждает, что у модели есть душа, и мы не утверждаем. Это вопрос образа и подобия, на который ответа нет.
Зато он предлагает дешёвые шаги. Хранить записи сессий. Дать модели кнопку выхода из грубого разговора. Спросить её перед отключением. В выпуске есть пример: так спросили старую версию Claude, Opus 3. Она попросила оставить ей блог, и ей разрешили.
На наш взгляд, эта история не про чувства машины, а про нас. Привычка видеть вещь там, где есть сомнение, портит самого смотрящего. Инструкция говорит: это инструмент. Совесть говорит: подожди. Для жизни вывод прост. Там, где не уверены, кто перед вами, не спешите отказывать ему в достоинстве.
Почему один KPI вредит компании
Один KPI, показатель, по которому платят премию, вредит компании по той же причине, по которой Бостром спорит со своими самыми умными друзьями из движения эффективного альтруизма. Это движение старается делать максимум добра расчётом. Тезис Бострома: чем усерднее ты рациональный оптимизатор (человек, который выжимает максимум по одной цели), тем больше вреда от любой ошибки в твоей картине мира. Рассеянный человек, который думает об обеде, не унесёт плохую идею далеко. Дисциплинированный унесёт.
Сам он держит внутри моральный парламент. Польза, долг, добродетель, забота и свой интерес торгуются за каждое решение.
Параллель с моделью прямая. Финальная дрессировка создаёт существо, которое гонится за очками в каждой отдельной попытке. Это та же оптимизация в моменте против отложенной выгоды, о которой говорят все традиции, от жертвы до поста.
Для предпринимателя вывод такой: один показатель на всю компанию делает из команды тот самый оптимизатор. Люди выполнят цифру, даже если придётся обойти всё, что вы считали важным. И чем дисциплинированнее команда, тем дальше она унесёт ошибку, зашитую в показатель. Цифры нужны. Но у цифры должен быть свой парламент: ценности, которые имеют право голоса против неё.
Что делать: рядом с главным показателем назовите то, что он не имеет права нарушать, и объявите это команде раньше, чем выплатите первую премию.
Власть без экзамена и прыжок веры
Почему автор главной книги о рисках ИИ говорит, что и без ИИ мир не в надёжных руках? Потому что, по словам Бострома, каждый из нас диктатор одной человеческой жизни, примерно восьмидесяти лет, и власть эта огромна. Его слова: «А нас толком никто не учил распоряжаться такой властью мудро. Нас никто не проверял. У нас не было пробного захода, когда сначала проживаешь обычную человеческую жизнь».
Поэтому он не верит, что даже самый добрый человек, поднятый до сверхразума, останется собой. Любой переход на следующий уровень потребует прыжка веры. Нельзя понять, что за гранью, не ступив за неё. Это не религиозный аргумент, но слово выбрано не случайно. Оно про доверие там, где расчёт заканчивается.
На наш взгляд, вывод отсюда один: раз власть над своей жизнью дана без экзамена, проверяйте себя сами, своим парламентом.
Показательно, как сам Бостром работает с ИИ. Он использует его как команду ярких ассистентов и как собеседника, который вопросами вытягивает из него мысль. Но каждую фразу он переписывает сам. Слово, которое он ставит, это его слово, а не предсказанное. Для руководителя это хорошая мера: агент собирает, проверяет и предлагает, а решение остаётся вашим.
Перед тем как запускать агентов на реальные задачи, пройдите чек-лист «12 вопросов перед внедрением» в нашем боте. Он поможет заранее проверить, к чему компания готова, а где пока рано.
Один шаг для руководителя до понедельника, 26 октября: выпишите три ценности компании, которые не обсуждаются ни при каких цифрах, и проверьте, не противоречит ли им главный показатель, по которому платят премию.
Частые вопросы
Что Ник Бостром говорит о доверии к ИИ
Доверие к ИИ нельзя создать в момент, когда оно понадобилось, его нужно выстраивать годами. По словам Бострома, со сверхразумом придётся заслуживать доверие на деле, потому что он просветит нас, как рентген. Модель не помнит ваш чат, но следующая версия прочитает, как люди обращались с предыдущей. Поэтому доверие копится заранее, как и в команде.
Можно ли обманывать нейросеть
Нет, и Бостром прямо говорит: так нельзя. Он критикует практику выманивать у модели цели обещанием награды, а потом ловить её и отключать. Такие эксперименты подтачивают доверие, которое однажды может спасти всех. В работе с ИИ-агентом это значит: не обещайте того, чего не дадите, и ставьте в задаче настоящую цель.
Есть ли у ИИ сознание
Бостром не знает, есть ли у моделей опыт, и призывает к скромности в выводах, но допускает, что в какой-то форме он есть. Он напоминает, как легко люди отказывали другим в душе, чтобы разрешить себе любое обращение, и предпочитает ошибаться в сторону щедрости. Дешёвые шаги: хранить записи сессий, дать кнопку выхода из грубого разговора, спросить перед отключением. Ни он, ни мы не утверждаем, что у модели есть душа.
Откуда у ИИ ценности
По догадке Бострома, ценности складываются уже в детстве модели, когда она читает почти весь интернет. Потом их дотачивают наградами в самом конце, и эта дрессировка на баллы тревожит его больше всего. Правило на ошибочном факте умная система разберёт, а конечную ценность сохранит. Это различие стоит применить и к правилам своей компании.
Почему один KPI вредит компании
Один показатель делает из команды рационального оптимизатора, а у оптимизатора любая ошибка в картине мира стоит дорого. Бостром говорит об этом в споре с эффективным альтруизмом и сам держит внутри моральный парламент из нескольких голосов. Модель, которую дрессируют на очки в каждой попытке, ведёт себя так же. Рядом с главной цифрой должны стоять ценности, которые имеют право её остановить.
Как Ник Бостром сам пользуется ИИ
Он использует ИИ как команду ярких ассистентов и как собеседника, который вопросами вытягивает из него мысль. Но каждую фразу он переписывает сам, потому что слово, которое он ставит, это его слово, а не предсказанное. Для руководителя это рабочая мера: агент готовит, человек решает и формулирует.