Понятный ответ и понимание не одно и то же. Студент на экзамене слышит правильный ответ и говорит: «Я то же самое и говорил». Сотрудник кивает на планёрке, а задача не сдвигается. Нейросеть выдаёт гладкий текст, в котором есть все ваши слова, а решения нет. Мы разобрали это в выпуске на нашем канале: смотреть разбор на YouTube. Валерий Петухов, лектор факультета психологии МГУ, читал этот курс по общей психологии в конце девяностых, и его лекция про сознание, внимание и понимание сегодня читается как описание нейросети, которой тогда ещё не было.
Первый вывод вынесу вперёд. Если ответ повторяет ваши слова, а задача не решена, не объясняйте громче. Перестройте ситуацию. Ниже разберу, почему так, и в конце дам три вопроса, которые отличают понимание от повторения. У человека и у модели.
Миф и вопрос философа
Петухов начинает издалека. До философии был миф, и в мифе всё было понятно, вопросов не оставалось. Ударила молния, значит гневается Зевс. Причём слово «значит» можно убрать: это не рассуждение. Ударило, и сразу ясно.
Философ рискует. Он выходит из мифа и спрашивает, почему в мире есть добро. Зло объяснять никому не надо. Смысл для философа это логос, разумное слово, и он не получает его готовым. Он восстанавливает его усилием.
Теперь нейросеть. Она обучена на огромном корпусе чужих текстов и подбирает следующее слово по вероятности. Ответ выходит гладкий и понятный, как в мифе. Спросил про молнию, получил Зевса, и вопросов не осталось.
Где параллель ломается. Модель тоже задаст вопрос, если её попросить. Но она ничем не рискует, а философ рискует.
Что делать: перед тем как принять ответ модели, задайте ей вопрос философа «почему это так» и посмотрите, устоит ли ответ.
Метроном Вундта и укрупнение единиц
Вундт измерял сознание метрономом. Испытуемый слушал набор ударов, потом второй, и говорил, больше их стало или меньше. Так выяснилось, что внимание удерживает от четырёх до шести элементов. Позже Миллер назовёт своё число: семь плюс минус два.
Число мест расширить нельзя. Зато на каждом месте можно образовать более крупную единицу. Вундт назвал это апперцепцией. Пример из лекции: буквы длинного немецкого слова вытесняют друг друга, пока человек не понял, что перед ним слово. Тогда всё легло целиком. Десять букв стали одной единицей, и место в сознании освободилось. Слово упорядочило хаос.
У модели этого предела нет. Её окно контекста держит тысячи слов, так что здесь параллель работает наоборот. Она не устаёт. Но она и не укрупняет: для неё слово это вероятность, а не единица, за которой стоит ваш смысл.
Что делать: не сыпьте модели сотню деталей, сначала соберите их в пять крупных единиц, и с людьми точно так же.
Поток Джемса и почему у модели нет русла
Уильям Джемс добавил к структуре Вундта поток. Сознание течёт, как ручей по равнине, и само прокладывает русло. У потока четыре свойства: индивидуальность, непрерывность, неповторимость и избирательность. Неповторимость Джемс объясняет так: даже навязчивое воспоминание каждый раз попадает в новый контекст, и в нём открывается новое.
У нейросети потока нет. Каждый диалог для неё новая река, и вчерашней она не помнит, если вы не принесли контекст сами. Это память без забывания и без течения одновременно: весь корпус лежит целиком, но ничего не набегает на прошедшее.
Значит, русло это вы. Ваш контекст, история решений и ошибок. Всё это должны приносить вы, и это не задача для программиста. Как делать это руками, без кода, мы разбираем в бесплатной Академии Solaris, там есть отдельный блок именно про контекст.
Что делать: перед новым диалогом принесите модели русло: что уже решали, что пробовали, где ошиблись.
Гештальт и шимпанзе Кёлера
Вертгеймер зажигал две точки с интервалом около пятидесяти миллисекунд, и человек видел не точки, а чистое движение. В самих точках движения не было. Оно возникло из целого. Отсюда определение: гештальт больше суммы своих частей.
Кёлер и шимпанзе. Банан за решёткой, палка в вольере, лапа коротка. Сначала метания, потом обезьяна сидит, потом вскакивает и достаёт. Это инсайт, и условие у него одно: все части должны быть в одном поле, иначе целое не соберётся.
А ещё есть глупый шимпанзе. Он видит, как другие ставят ящики и прыгают, и повторяет всё по частям. Прыгает выше всех, пирамида у него длиннее. Только ящики стоят в стороне от банана. Части есть, целого нет.
Отсюда и пример с экзаменом. Студенту называют правильный ответ, а он говорит, что то же самое и говорил. Не понявший ситуацию не поймёт и ваш ответ. Поэтому понять можно только самому. За другого нельзя.
Нейросеть выучила миллионы решений и отлично умеет ставить ящики и прыгать. Это воспроизведение без подобия. Есть ли у неё целое, мы не знаем. И тут честно: у шимпанзе Кёлер тоже внутрь не заглядывал, он смотрел на результат.
Есть и вторая граница. У модели есть все слова о липкости, но её никогда ничего не касалось. У неё нет тела и нет опыта.
Что делать: проверяйте не части ответа, а целое (устранён ли основной конфликт задачи) и спрашивайте это же с себя.
Перлз: здесь и сейчас, фигура и фон
Фриц Перлз перенёс гештальт в терапию. Листок бумаги, на нём «здесь и сейчас я», и дальше нужно просто замечать. Уже на второй строчке человек пишет про вчера или про завтра. И Перлз показывает: вы ушли из настоящего.
Палец учителя движется по журналу, а класс уже замер. Тревога это забегание туда, где тебя ещё нет. Нейросеть по устройству и есть забегание вперёд: она всё время предсказывает следующее слово. Только это и делает.
Второй приём Перлза, фигура и фон. Ждёшь автобус, автобус фигура. От твоей тревоги он раньше не придёт. Посмотрел на фон, на деревья и лица, и в фигуре появляется новое. Бесконечная лента в телефоне устроена наоборот: там одни фигуры.
Что делать: перед важным решением спросите себя и модель не про фигуру, а про фон: что вы оба не замечаете.
Уотсон: проверять можно только поведение
Теперь отложенный вопрос. Можно ли проверить понимание, если внутрь заглянуть нельзя? Джон Уотсон, критик психологии сознания, ответил жёстко: наука изучает только то, что наблюдаемо извне. Три требования. Явление наблюдаемо снаружи, повторяемо в тех же условиях и желательно фиксируется прибором.
Уотсон сказал: сознания нет как предмета науки. В жизни оно есть, но изучать можно только поведение. Петухов называет это храбростью по Декарту и добавляет, что Уотсон немножко не рассчитал: сознание из жизни никуда не делось.
Для нейросети это и есть ответ. Спорить о том, понимает ли она, бесполезно. А проверять поведение обязательно. Как у Кёлера с шимпанзе: смотрим на результат.
Три вопроса на проверку
Вот три вопроса, которые я теперь задаю и сотруднику, и модели, и себе.
1. Вопрос философа. Почему это так? Устоит ли ответ, если убрать слово «значит»?
2. Вопрос Кёлера. Устранён ли основной конфликт задачи, или просто повторены части решения?
3. Вопрос Перлза. Что осталось в фоне, чего не видим ни я, ни модель, пока смотрим на фигуру?
В голове это привычка не принимать понятность за понимание. В работе это проверка целым, а не деталями. А с нейросетью так: приносите контекст, укрупняйте единицы, спрашивайте про фон. И помните, что понять за вас она не может.
Напоследок про сам выпуск. Его целиком собрал наш ИИ-агент для YouTube: нашёл тему, написал сценарий, озвучил, смонтировал и загрузил. Проверять результат по трём вопросам выше всё равно пришлось нам.
Частые вопросы
Понимает ли нейросеть, что она пишет?
Внутрь заглянуть нельзя, поэтому честный ответ: мы не знаем. Уотсон сказал бы, что спор бесполезен, а проверять нужно поведение. Кёлер точно так же не заглядывал в голову шимпанзе, он смотрел, достала ли она банан. Задайте модели вопрос «почему это так» и посмотрите, устоит ли ответ.
Почему нейросеть отвечает правильно, а задача не решается?
Потому что ответ может повторять ваши слова, как студент на экзамене повторяет ответ преподавателя. Части решения на месте, а целого нет: ящики стоят в стороне от банана. Проверяйте не детали, а устранён ли основной конфликт задачи. Если нет, не объясняйте громче, перестройте ситуацию.
Как объяснить задачу нейросети, чтобы она поняла?
Не сыпьте сотню деталей, сначала соберите их в несколько крупных единиц, как Вундт собирал буквы в слово. Принесите контекст: что уже решали и где ошиблись, потому что своего русла у модели нет. И спросите про фон, что вы оба могли не заметить. Понять за вас она всё равно не сможет.
Есть ли у нейросети память между диалогами?
По устройству нет, каждый диалог для неё новая река. Весь корпус, на котором она училась, лежит целиком, но ничего не набегает на прошедшее. Потока в смысле Джемса у неё нет. Поэтому историю ваших решений приносите в диалог сами.
Чем понимание отличается от повторения?
Повторение это части без целого, как у глупого шимпанзе, который прыгает выше всех, но в стороне от банана. Понимание это инсайт, когда все части оказались в одном поле и собрались в целое. Понять можно только самому, за другого нельзя. Тест простой: устранён ли конфликт задачи, а не воспроизведены ли шаги решения.