У человека две памяти: память тела и память духа. У нейросети есть только одна из них. Так, если пересказать коротко, звучит разбор Анри Бергсона, который профессор Петухов делает на лекции по общей психологии на факультете психологии МГУ. Мы в Solaris AI разобрали эту лекцию в ролике на нашем канале, а здесь развёрнутая версия: что значат две памяти и что из этого следует для работы с нейросетью.
Коротко:
1. У нейросети есть память тела, то есть связи между словами, но нет памяти о том, где и когда что-то случилось.
2. Контекст, где вы сейчас и что уже пробовали, в разговор приносите вы сами.
3. Перед вопросом напишите две строки о себе: ответ, скорее всего, станет ближе к вашей задаче. Проверьте сами.
Что такое две памяти по Бергсону
По Бергсону, у человека две памяти, и они разные по природе. Первая, память тела, это привычка. Вы заучиваете стихотворение, повторяете его много раз, и вот оно читается автоматически, как привычка.
Бергсон замечает: кроме выученного текста у вас осталось ещё кое-что. Вы помните, где и когда вы его повторяли. Это он и называет памятью духа: событие со всеми деталями, одно, ваше, не похожее ни на какое другое.
Различаются они и тем, как возвращаются. Память тела воспроизводится только усилием и за то же самое время, по заученной схеме. Память духа всплывает сама, когда захочет. По словам Петухова, психологи потом назвали чистой памятью как раз память тела, механическую. А Бергсон собственно памятью считал память духа.
Как учат нейросеть и при чём здесь закон ассоциации
Нейросеть учат на огромном наборе чужих текстов: она раз за разом угадывает следующее слово. Если упрощённо, угадала, связь между словами усиливается, ошиблась, ослабевает. Так миллиарды раз. Веса модели это и есть такие связи: числа о том, какое слово обычно идёт за каким.
Петухов напоминает закон ассоциации, который связывает с Эббингаузом: что бывало в сознании вместе, то при повторе одной части вызывает остальные. Больше века назад это описывало зубрёжку. На наш взгляд, сегодня это почти дословно описывает предсказание следующего слова.
Почему связный текст модели ещё не понимание
Эббингауз хотел измерить чистую память и для этого отобрал у себя смысл: заучивал бессмысленные слоги под метроном.
Нейросеть, на наш взгляд, делает обратное. У неё нет ничего, кроме слогов, то есть слов, и смысл собирается только из того, что стояло рядом в текстах, на которых она училась. Поэтому связный текст от модели ещё не значит, что за ним стоит понимание. Связность это хорошо выученное соседство слов. Подробнее о том, как проверять ответ модели вопросами, мы писали в статье Петухов об эмоциях и 3 вопроса к ответу нейросети.
Что делать: когда ответ звучит гладко и уверенно, проверяйте факты в нём отдельно. Это наш совет, связность сама по себе не доказывает точность.
Что не стирается у нейросети
Петухов приводит опыт Уотсона. Человека учили печатать: 1 500 знаков за 10 минут. Потом 135 дней без практики. Осталось почти 1 400 знаков. Память тела почти не теряет, а навыки, связанные с речью и смыслом, разрушаются куда сильнее.
У нейросети, на наш взгляд, это доведено до предела: веса сами не стираются, а ваш разговор их не меняет. Но это не преимущество, а другой тип памяти. Модель не знает, когда и откуда взяла фразу. У неё не было дня, когда это случилось. Некоторые ассистенты теперь ведут заметки о пользователе, но заметка с датой это запись, а не пережитое событие. Что ИИ может сделать с нашей собственной памятью, мы разбирали в статье по другой лекции Петухова: фараон был прав, ИИ может ослабить память.
Запомнить значит преобразовать
От памяти духа, говорит Петухов, психологии осталась одна идея: запомнить значит преобразовать материал. Пока слоги просто лежат рядом, это память тела. Как только вы их переставили, связали и сравнили, включилось что-то большее.
Нейросеть тоже преобразует: по большей части она не хранит тексты, а сжимает их в связи. Здесь, на наш взгляд, параллель работает. Не работает она в другом: у модели нет задачи, ради которой она это делала, а у вас есть. И задача решает, что останется. Как задача меняет ответ модели, мы писали в статье о том, как ставить задачи нейросети.
Внимание и две строки о себе
Петухов говорит и о внимании: его объём не больше 6 элементов, а концентрация это узкий объём при высокой силе. Нейросеть внутри текста запроса видит всё сразу, без выбора, на что смотреть. На наш взгляд, у неё нет нашего ограниченного внимания. Вы за выбор платите, поэтому ваш выбор, на что смотреть, и есть мышление.
Пример. Вы спрашиваете нейросеть, как поднять продажи в магазине. Без контекста ответ будет общим, как из учебника. А теперь сначала две строки: «У меня небольшой магазин у дома, покупатели в основном соседи. Пробовал скидки по будням, почти не помогло». И тот же вопрос. Модель не пережила ваш день, контекст ей взять негде, кроме вашего текста. Две строки и есть память духа, которую вы приносите в разговор.
Иначе эту же тему раскладывает Джордан Питерсон: у него у человека 4 вида памяти, у нейросети только один. У нас есть бесплатная Академия.
С чего начать до среды
До среды 18 ноября перед тремя ближайшими запросами к нейросети напишите две строки: где вы сейчас в задаче и что уже пробовали. Сравните ответы с обычными.
Если захотите рассказать, что изменилось в ответах, напишите нам в бота.
Почему модель в диалоге не дообучается и что из этого следует, читайте в статье Питерсон: ваша совесть устарела, и нейросеть застыла так же.
Частые вопросы
Почему нейросеть не помнит, что я ей рассказывал раньше?
Модель не пережила ваш разговор как событие со своим где и когда, она хранит связи между словами. Заметки, которые ведут некоторые ассистенты, это записи фактов. Контекст разумнее приносить в запрос самому.
В чём разница между памятью тела и памятью духа у Бергсона?
Память тела это привычка: выученное воспроизводится усилием и по заученной схеме, без привязки ко времени. Память духа хранит одно событие целиком, где и когда оно случилось, и всплывает сама.
Значит ли связный текст нейросети, что она понимает смысл?
Не обязательно. Связность показывает, что модель хорошо выучила, какие слова стоят рядом. Факты в гладком ответе стоит проверять отдельно.
Почему у нейросети нет забывания, как у человека?
Веса модели сами не стираются, а разговор с вами их не меняет. Но это не память о пережитом: модель не знает, когда и откуда взяла ту или иную связь.
Как получить от нейросети ответ под свою ситуацию?
Перед вопросом напишите две строки: где вы сейчас и что уже пробовали. Ответ, скорее всего, станет ближе к вашей задаче, сравните сами.
