Откуда берётся мысль, которая только что пришла вам в голову? Обычно мы отвечаем «ниоткуда, просто появилась» и идём дальше. Психолог Джордан Питерсон на первой лекции своего цикла о библейских историях в Торонто остановился на этом месте и сказал странную вещь: чаще всего эта мысль чужая. Даже слова, которыми вы думаете, когда-то произносили люди, которых давно нет.
Мы разобрали эту лекцию в выпуске рубрики «Смыслы» на нашем канале: смотреть разбор на YouTube. Ниже та же мысль текстом, но с поворотом, который нам важен как людям, внедряющим ИИ в компаниях. Нейросеть обучена ровно на таком корпусе чужих слов. Если Питерсон прав про человека, он заодно объяснил, что умеет модель, чего она не умеет и какую работу в паре с ней никто, кроме вас, не сделает.
Мысль давно умершего человека
Вот как Питерсон ставит вопрос в зале:
> «Откуда это берётся? Да ниоткуда. Просто возникает в голове. Не слишком глубокое объяснение, правда? Так вот, спросите себя: ваши мысли, откуда они приходят?»
И сам отвечает: отчасти от тех, кто давно умер. Язык, на котором вы думаете, собран поколениями до вас. Через вас, говорит он, говорит дух предков, и можно смотреть на это именно так.
Теперь посмотрите на большую языковую модель. Её обучили на огромном массиве текстов, написанных живыми и умершими людьми. Отвечая, она подбирает следующее слово по вероятности, то есть по тому, как чаще всего писали до неё. На наш взгляд, Питерсон описал устройство нейросети раньше, чем она появилась, хотя говорил он о человеке.
Но у него есть продолжение, и на нём держится весь разговор. С человеком говорят не только слова предков. С ним говорят его мотивы, эмоции и тело.
Знание, которое ещё не стало словами
Питерсон различает два слоя знания. Первый можно проговорить. Второй вы знаете телом, но сказать пока не умеете. Его пример простой: человек ругается с близким, потом плачет и только тогда понимает, о чём злился на самом деле. Мысль сначала живёт в настроении, образе, действии и лишь потом становится словами. Вслед за Юнгом он называет сон местом рождения мысли: знание там ещё мутное, но уже работает.
У нейросети второго слоя нет вовсе. У неё нет тела, настроения и сна, есть только проговорённый слой чужих слов. Интересно, что Питерсон сам доходит до этого вывода:
> «Отчасти поэтому создатели искусственного интеллекта были вынуждены дать машинам тело. Оказалось, нельзя сделать нечто по-настоящему разумным без тела».
Честно отметим границу параллели. Питерсон говорил о роботах, которых сажают в тело, а сегодняшние языковые модели тела не имеют. Это ровно его вопрос, оставшийся открытым.
Для работы это значит: то, что вы знаете о своём деле «нутром», модель сама не знает и не узнает. Если это знание не записано, в её ответах его не будет.
Словарь не знает гнева
Отвечая на вопрос о законе, Питерсон сказал фразу, которая, по-моему, описывает нейросеть точнее многих инженерных статей:
> «Без тела закон был бы словарём. А если не знаешь значения слова, словарь помогает, но не сильно. Пока сам не испытал гнев, словарь не объяснит, что такое гнев».
Словарь отсылает от одного слова к другому. Слова же указывают на то, что за пределами слов: на опыт, боль, пережитое. Нейросеть похожа на словарь, который научился говорить. Связи между словами у неё огромные, а опыта за ними нет. Она убедительно напишет про боль вашего клиента, хотя никакой боли не переживала.
Отсюда практическое правило, которое мы применяем в своих проектах. Текст от модели стоит проверять не на грамотность, с ней у неё всё хорошо. Проверять нужно другое: стоит ли за фразой чей-то реальный опыт, или там только другие слова.
Про вес слова у Питерсона есть отдельная мысль: убедительно ровно то, что связано с самым глубоким, и мы разобрали её в тексте про метод трёх дней тишины. Вопрос для проверки: чьё пережитое стоит за этой красивой фразой? Если ответить нечего, фраза пустая, какой бы гладкой она ни была.
Глаза вокруг головы
Дальше Питерсон рассказывает про Мардука, месопотамского бога, которого выбрали главным, чтобы он победил хаос. У Мардука глаза вокруг всей головы, и он говорит волшебные слова: видит всё вокруг и словом превращает хаос в порядок. Император мог править, лишь пока был «хорошим Мардуком», и в этом Питерсон видит суть лидерства. Лидер видит, что перед ним, и говорит так, что из путаницы получается устройство. А когда мир рушится, добавляет он, у вас остаются только открытые глаза и максимально точная речь.
Обратите внимание на разницу. У Питерсона слово упорядочивает хаос. У нейросети слово это самое вероятное продолжение. Вероятное слово усредняет. Упорядочивающее слово различает и называет то, чего ещё никто не видел.
Из этого вытекает самое прикладное место выпуска. Смотреть во все стороны и называть вещи своими именами остаётся работой человека. Модели нужно отдавать то, что уже увидено и названо: процесс разобран, цель сформулирована, критерий результата записан. Тогда она работает как сильный исполнитель. Если отдать ей хаос в надежде, что она сама разберётся, вы получите среднее по интернету.
Именно так мы учим ставить задачи нейросети в бесплатной Академии Solaris: сначала посмотреть, потом сказать, и только потом отдавать на генерацию.
Память, которая не умеет забывать
Питерсон замечает: мы почти ничего не помним наизусть, всё записано в книгах. В зале, говорит он, едва ли двое прочтут по памяти стихотворение в тридцать строк. А люди устной культуры держали истории в голове тысячелетиями. И тут он говорит важное: пропаганду невозможно запомнить, она умирает через десять или двадцать лет. История живёт тысячи лет только тогда, когда её невозможно забыть. Забывание работает как фильтр смысла. Какие виды памяти он различает у человека и какой из них по-настоящему доступен модели, мы разобрали отдельно: у человека 4 вида памяти, у нейросети один.
Память нейросети устроена наоборот. Она не забывает, и ей всё равно, что важно, а что мусор. Отбор, который веками делало забывание, теперь приходится делать самим. А как при этом не отдать модели саму способность думать, разбирает психиатр из Гарварда в нашем выпуске о том, как пользоваться ИИ и не глупеть.
Для компании это очень конкретная задача. Когда мы собираем ИИ-ассистента на данных компании, по нашему опыту больше всего времени уходит не на подключение модели, а на то, чтобы решить, что в базу знаний идёт, а что нет: какие регламенты действуют, какие цены актуальны, какие письма пятилетней давности лучше не показывать никому. Если залить в ассистента весь архив, он будет одинаково уверенно цитировать и действующее правило, и отменённое.
Ещё одна мысль Питерсона из того же места: человек единственный умеет отдать ценное сейчас ради будущего, «торговаться с завтра». Нейросеть оптимизирует ответ в моменте. Поэтому долгие вещи вроде репутации, доверия и отношений с клиентом по-прежнему ваша территория, а не модели.
Книга с гиперссылками
Один слушатель заметил, что Библия, собранная многими людьми и связанная перекрёстными ссылками, похожа на интернет. Питерсон согласился: в ней около шестидесяти пяти тысяч таких ссылок, и он называет её первой книгой с гиперссылками. Его ответ про интернет сегодня звучит как ответ про нейросети:
> «Но у него проявится какая-то личность, ведь он очень быстро учится понимать нас. Так что вполне можно считать его предвестником».
Что за личность из этого выйдет и нужно ли ей сознание, честно говорит он, не знает никто, включая его самого. Мы тоже не знаем, и нам кажется правильным так и говорить, а не пугать и не обещать.
Чей ты агент
Последний вопрос в зале задал программист: не сильнее ли математика, чем речь? Питерсон согласился, что математика и программирование дают огромную силу. Но, добавил он, вопрос в том, ради чего. Сила может оказаться не у тебя, а у самой математики, ведь никогда не знаешь, чьим агентом ты стал. Гуманитарные науки нужны, чтобы решать, на что направить инструменты.
Сегодня эта мысль звучит буквально. ИИ-агент исполняет инструкцию, которую ему дали. Почему ум не делает агента добрее, объясняет тезис ортогональности Бострома: наш разбор. Совесть, «тихий голос», у Питерсона это как раз различение того, чего в инструкции нет. Поэтому во внедрениях мы держимся двух правил. У каждого агента есть человек, который отвечает за результат. И все решения, которые стоят денег или репутации, агент готовит, а принимает человек.
Что с этим делать
В собственной голове. Замечать, откуда пришла мысль: из опыта и тела или из потока чужих слов, включая ленту и ответы нейросети. Второе не плохо, но это не ваше знание, пока вы его не проверили.
В работе с нейросетью. Приходить с увиденным и прожитым. Модель хорошо подбирает слова к тому, что вы уже поняли, и плохо понимает за вас. Почему понять за другого вообще нельзя, разбирает лекция Петухова: четыре свойства сознания, которых у модели нет.
В компании. Записывать то, что люди знают «нутром»: как на самом деле принимаются решения, где теряются деньги, что считается хорошей работой. Это одновременно полезно новым сотрудникам и становится базой, без которой ИИ-ассистент будет говорить средними словами.
В ответственности. Пусть модель подбирает слова, а видеть, называть и отвечать остаётся тому, у кого есть тело и завтра.
Если хотите понять, где в вашей компании нейросеть сэкономит часы, а где без человеческого опыта даст только гладкий текст, пройдите короткий разбор в нашем Telegram-боте. Он пришлёт чек-лист из двенадцати вопросов, которые стоит решить до внедрения, и поможет определить первый процесс.
Этот выпуск, как и остальные на канале, целиком собрал наш ИИ-агент: нашёл лекцию, написал сценарий, перевёл и озвучил цитаты, смонтировал ролик. Но перед публикацией его смотрит человек и только тогда говорит «ок». Агент подбирает слова, а решать, выходит ролик или нет, остаётся нам. Ровно по Питерсону.
В новой лекции Питерсон продолжает эту мысль: мы видим не факты, а цель, и нейросеть обучена так же, наградой и наказанием, три вопроса, по которым видна цель.
Если модель собрана из чужих слов, то всё, что вы знаете телом, попадает в неё только через ваш запрос. Об этом разбор лекции Питерсона о Бытии и нейросетях.
Модель продолжит вашу неправду так же уверенно, как правду. Почему так и что с этим делать, разобрали в статье откуда знание добра и зла и почему его нет у нейросети.
Как Питерсон сам вычистил чужие слова из своей речи и какие три вопроса задавать тексту от нейросети, разобрали в статье 95% своих слов он выбросил.
Почему зависть и гнев показывают неверные значения и как с нейросетью оставлять решение за собой, читайте в статье Курцбан: чувство это прибор. Почему у ИИ его нет.
Частые вопросы
Правда ли, что наши мысли чужие?
Питерсон говорит «отчасти». Слова и многие готовые ходы мысли мы получаем от поколений до нас. Но с человеком говорят ещё его тело, эмоции и мотивы, и именно это делает мысль своей.
Чем мышление человека отличается от работы нейросети?
Нейросеть подбирает самое вероятное следующее слово на основе огромного корпуса текстов. У человека кроме слов есть знание, которое он ещё не умеет проговорить: опыт, чувства, реакция тела. У современных языковых моделей этого слоя нет.
Можно ли доверять тексту, который написала нейросеть?
Грамотности доверять можно. Смыслу стоит доверять только после проверки: стоит ли за фразой реальный опыт, факты и цифры. Если нет, текст звучит убедительно, но ничего не утверждает.
Как сделать, чтобы ИИ-ассистент в компании отвечал по делу?
Дать ему отобранную базу знаний: действующие регламенты, актуальные цены, реальные примеры. Отбор делает человек. Если залить весь архив подряд, ассистент будет одинаково уверенно цитировать и действующее, и устаревшее.
Кто такой Джордан Питерсон?
Канадский клинический психолог и профессор, автор книги «12 правил жизни». Лекция, которую мы разбираем, открывает его цикл о психологическом смысле библейских историй.