«Я называю это пиксельной копией в низком разрешении той части человеческого мозга, которая придумала язык». Так исследователь искусственного интеллекта Брайан Реммеле описал языковую модель в разговоре с психологом Джорданом Питерсоном.
Мы разобрали их беседу в выпуске рубрики «Смыслы» на нашем канале: смотреть разбор на YouTube. Ниже текстовая версия: чем понимание отличается от подбора слов, почему у человека четыре вида памяти, а у модели по-настоящему один, кому принадлежит память, которую больше нельзя потерять, и как всё это меняет то, как вы задаёте вопросы нейросети.
Зеркало, а не свидетель
Реммеле говорит, что модель это не энциклопедия, а машина рассуждения, собранная из миллиардов чужих слов. Она прочла почти всё, что написал человек, и угадывает, какое слово встанет следующим. Отсюда её сила и её слабость: она отражает нас, а не знает мир.
Питерсон пользуется моделью каждый день, как командой исследователей, которая отвечает за минуту. И он же рассказывает, что она придумывает ссылки на научные статьи, которых нет, по его оценке примерно в каждом десятом случае. Учёные настоящие, название правдоподобное, а работы не существует. Машина тянется к ответу, которого у неё нет, и достраивает его.
Для работы это первое, что стоит запомнить. Перед вами зеркало, а не свидетель. Проверяйте не то, красиво ли звучит ответ, а есть ли за ним источник, который можно открыть.
Четыре вида памяти
Самая сильная часть разговора принадлежит Питерсону. Из нейропсихологии, говорит он, известно, что у человека как минимум четыре качественно разных вида памяти:
1. Кратковременная. То, что держим в голове прямо сейчас.
2. Смысловая. Связи между словами и понятиями. Здесь модель работает почти как мы.
3. Эпизодическая, образная. Когда вы вспоминаете что-то из своей жизни, в голове идёт кино, а не текст.
4. Процедурная, память действия. Услышав, как человек порезал руку пилой, вы иначе держите свою.
Понимание, по Питерсону, это перевод слов в образы, а образов в поступки. Модель застряла на первом шаге: у неё нет тела, нет боли и нет утра, которое она помнит. Поэтому Питерсон называет её предельным постмодернистом: постмодернисты считали, что смысл живёт только в отношениях между словами, и модель устроена ровно так.
Честности ради, Питерсон тут же добавляет, что связка текста, изображения и робототехники уже совсем близко, и граница может сдвинуться. Но пока перевод слов в дело остаётся работой человека.
Практический совет из этого простой: считайте ответ модели понятым только тогда, когда он изменил ваше действие. Прочитать умный ответ и ничего не поменять значит остаться на уровне смысловой памяти, где модель сильнее вас.
Память без забывания и вопрос собственности
Реммеле мечтает о личном хранителе: всё, что вы читали, слышали и говорили за жизнь, записано и всегда под рукой. После смерти человека с этой суммой данных можно было бы разговаривать, и, по его мнению, разница была бы почти неразличима. Питерсон осторожнее. Он спрашивает, будет ли это отражением духа, и прямого ответа не получает.
На наш взгляд, параллель здесь ломается. Сумма прочитанного это не человек, а его тень на бумаге. Человеческая память забывает, и это часть её работы: запах или цвет возвращают потерянное, а ненужное уходит. У машины забывания нет, но это не мудрость, а склад.
Второй вопрос важнее первого: кому этот склад принадлежит. Питерсон говорит, что на его жёстком диске с 1984 года «его» больше, чем в нём самом. Банки, магазины и сервисы уже сегодня знают о нас то, чего мы сами о себе не говорили. Реммеле формулирует жёстко: если вы не владеете собой, вами владеет кто-то другой. Поэтому он собирает ИИ, который живёт у человека в кармане и не отдаёт данные наружу.
Для бизнеса это не философия, а архитектура. Мы работаем именно так: когда заказчик доверяет нам свои данные, модель разворачивается в его контуре, на его сервере, и данные никуда не уходят. Облачные модели при этом пишут код и строят систему, но не видят переписку и документы клиента. Если вы думаете, какие данные вашей компании можно отдавать внешним сервисам, а какие нет, это стоит решить до внедрения, а не после.
Слово и дух
Отдельный блок разговора посвящён тексту, который Питерсон знает лучше многих. Реммеле с единомышленниками загружает в модель христианские тексты: Библию короля Якова, Мильтона, Данте, Августина, чтобы искать в них незамеченное. Питерсон честно признаётся, что не понимает, что значит разговаривать с духом Библии, и это для него больной вопрос.
Он же объясняет, почему в ответах модели всплывают древние сюжеты. Язык невозможно помнить без памяти, поэтому устройство памяти отпечатано в самом языке. Модель, обученная на тысячах лет человеческих текстов, повторяет узор, который складывали люди. Это не голос свыше, а наше собственное отражение.
Реммеле вспоминает Александрийскую библиотеку и боится не столько потери знаний, сколько их переписывания, когда неудобное правят задним числом. Отсюда его призыв хранить главное там, где его нельзя подправить. Наш вывод из этой части: с моделью можно говорить о Писании, но читать его надо самому, из первоисточника. О том, как слова, которые мы не выбирали, живут в нашей голове и в нейросети, мы подробно писали в статье «Чужие слова в голове и в нейросети».
Как задавать вопросы модели
Последняя часть разговора самая практичная. Реммеле считает, что творчество рождается из напряжения: мы тянемся к тому, чего ещё нет. Питерсон подтверждает это исследованиями: чем жёстче рамка, тем сильнее выдумка.
Модель сама не творит. Творит связка человека и машины, и результат зависит от вопроса. Реммеле называет модель зеркалом того, кто ею пользуется, поэтому психология, литература и хорошо поставленная мысль становятся сверхсилой в разговоре с ИИ.
Два приёма, которые они описывают, можно применять уже сегодня:
- Один вопрос пятью способами. Питерсон работает с моделью как с клиентом на приёме: задаёт один и тот же вопрос по-разному. Если ответы сходятся с разных сторон, им можно верить больше, чем одному гладкому тексту.
- Спор с судьёй. Реммеле устраивает внутри модели спор двух позиций и добавляет третьего участника, который ловит логические ошибки. Десятки раундов такого спора дают мысли, которых не было ни у человека, ни у машины.
Второй приём мы используем в собственной работе: так устроен наш ИИ-совет директоров, где разные роли спорят, а один участник обязан искать слабые места. А почему одиночная модель так охотно соглашается с собеседником, разбирает психиатр из Гарварда в статье о том, как пользоваться ИИ каждый день и не глупеть.
Четыре правила
1. Зеркало, а не свидетель. Проверяйте источник, а не красоту ответа.
2. Понимание через действие. Ответ понят, только если он изменил то, что вы делаете.
3. Своя память. Заведите собственный архив решений и следите, куда уходит то, что вы пишете модели.
4. Свой первоисточник. С моделью можно обсуждать текст, но читать его надо самому.
И правило на каждый день: ставьте вопрос модели так, как поставили бы его самому себе. Тогда машина вернёт вам вашу же мысль, только яснее, и в этом её честная польза.
С чего начать
Как задавать модели вопросы, проверять её ответы и выбирать инструменты, которые не отдают ваши данные наружу, мы разбираем в бесплатной Академии Solaris, на заданиях с настоящими данными и сервером.
Если вы решаете, какие процессы компании отдавать ИИ и где держать данные, заберите чек-лист «12 вопросов перед внедрением ИИ» в нашем боте. Там же можно записаться на бесплатный разбор своей задачи.
Частые вопросы
Какие виды памяти есть у человека?
Джордан Питерсон, ссылаясь на нейропсихологию, называет как минимум четыре: кратковременную, смысловую (связи между понятиями), эпизодическую (образы и события жизни) и процедурную (память действий и навыков).
Понимает ли нейросеть то, что говорит?
По мнению Питерсона, модель умеет убедительно подражать пониманию, но у неё нет опоры на мир за пределами языка: нет тела, образов и опыта действия. Понимание он определяет как перевод слов в образы и образов в поступки, и этот путь пока проходит человек.
Почему нейросеть придумывает несуществующие источники?
Модель угадывает наиболее вероятное продолжение текста. Когда нужных данных нет, она достраивает правдоподобный ответ: настоящие фамилии учёных и несуществующее название статьи. Поэтому любые ссылки из ответа модели стоит открывать и проверять.
Как защитить свои данные при работе с ИИ?
Разделять задачи: общие вопросы можно задавать облачным моделям, а документы, переписку и персональные данные обрабатывать моделями, которые работают на вашем сервере. Для компаний это решается архитектурой до начала внедрения.
Как получить от модели более надёжный ответ?
Задать один вопрос несколькими способами и сравнить ответы, попросить модель спорить с собой и искать ошибки в собственных рассуждениях, а ссылки и факты проверять по первоисточнику.