Нейросеть каждый день уверенно говорит вам о том, чего никогда не видела, и такие ошибки в отчётах уже стоят денег. Простое объяснение, почему нейросеть врёт, нашлось в лекции конца девяностых. Валерий Петухов, психолог с факультета психологии МГУ, читал курс общей психологии, и в теме про познание разбирал, как человек отличает знание от догадки. Нейросетей тогда не было, а звучит как описание того, что сегодня отвечает вам в браузере. Ниже три вида достоверности и то, какого из них у нейросети нет. И один вопрос оставим на конец: что в человеке по определению не воспроизвести ни одной программе. Мы разобрали лекцию в выпуске на нашем канале: смотреть разбор на YouTube.
Коротко:
1. Эмпирическая достоверность: я видел, значит, знаю.
2. Логическая достоверность: не противоречить самому себе, мир «предположим».
3. Экологическая достоверность по Найссеру: соответствие реальным условиям жизни.
На наш взгляд, у модели есть только вторая, логическая, а первой и третьей нет: она ничего не видела и ни в каких условиях не живёт.
Почему неграмотный крестьянин отказался отвечать про белых медведей
Потому что он там не был. Как рассказывает Петухов, в тридцатые годы в Узбекистане Александр Лурия предлагал неграмотным крестьянам незавершённые силлогизмы. Силлогизм это две посылки и вывод, только вывод задают вопросом: все люди смертны, Сократ человек, смертен ли Сократ?
Первая задача звучала так: там, где тепло и влажно, растёт хлопок. Около хижины старика тепло и влажно. Растёт ли хлопок? Крестьянин отвечал сразу: конечно, растёт, обязательно скажите старику, пусть сажает. Вторая задача: на севере, где вечно лежат снега, все медведи белые. Хижина старика на севере. Белые ли там медведи? Ответ по протоколу: я не знаю, спроси того старика, он там был и он знает, а я там не был.
Лурия в тридцатые записал вывод по классике: материал незнаком, значит, логика нарушена. И только в семидесятые, публикуя материал, понял, что крестьянин говорил не о логике, а о её границах. Петухов передаёт его позицию так: в этой традиции говорить о том, чего не видел сам, значит лгать. Человек не ошибётся, если будет говорить только о том, в чём убедился сам.
Почему нейросеть отвечает на вопросы, на которые не видела ответа
Потому что ей всё равно, видела она или нет: она продолжает текст. Петухов называет мышление крестьянина конкретным. Достоверность в нём эмпирическая: я видел, значит, знаю. Дальше наша параллель, лекция была задолго до нейросетей. Нейросеть устроена ровно наоборот: она не видела ничего, но обучена на текстах миллионов людей, которые что-то видели.
Про белых медведей она ответит мгновенно, потому что в текстах, на которых её обучали, эта фраза встречалась тысячи раз. А вопрос про хижину конкретного старика для неё ничем не отличается от вопроса про медведей вообще: она просто продолжит самую вероятную фразу. Отсюда и галлюцинации нейросети, то есть уверенные выдуманные ответы. Это не злой умысел, а отсутствие границы между «есть в данных» и «обычно так пишут».
Параллель с крестьянином верна только наполовину. Крестьянин молчит там, где не был, а модель молчать не умеет. Поэтому тем стариком, который там был, в работе с моделью должны стать вы сами.
Что делать: кормите модель своими документами и цифрами, а не спрашивайте её, как бывает обычно.
Кант, Мальвина и Буратино: где нейросеть действительно сильна
На наш взгляд, нейросеть сильна там, где достоверность логическая, а не опытная. Но мы с вами ходили в школу, а там, по словам крестьянина, как раз учат говорить о том, чего не видел. Петухов отвечает на это Кантом: мы познаём не вещи сами по себе, а сущности явлений, через понятия. Кант, как рассказывает Петухов, ни разу не выезжал из Кёнигсберга, но по картам объяснял любому, как пройти по городу, в котором никогда не был.
Это второй вид достоверности, логическая. Понятия есть, и главное правило одно: не противоречить самому себе. Пример у Петухова детский. Мальвина просит Буратино отдать яблоко, а тот никому ни одного яблока не отдаст. Для Буратино достоверен только факт, для Мальвины достоверно слово «предположим». Это два разных мира.
В мире «предположим» модель, на наш взгляд, сильнее любого из нас. Она тянет цепочку слов без видимых противоречий. Если вопрос «можно ли доверять ChatGPT» задать именно про этот мир, ответ, по нашему опыту, скорее да: сверить логику, переписать довод, разложить варианты.
Но Петухов называет и третий вид достоверности, по Найссеру: экологическая, то есть соответствие реальным условиям жизни. Вот этого у модели нет совсем. У неё нет тела, нет опыта и нет кухни, в которой яблоки заканчиваются. А у вас есть. И именно это вы выбрасываете, когда доверяете гладкому тексту больше, чем своему складу.
Как проверять ответы ИИ и не перестать думать самому
Сначала свой ответ, потом ответ модели. Петухов приводит Мамардашвили: мыслить это мыслить самому, так, чтобы понял другой, и не противоречить себе. И тут же добавляет: мыслит ли человек в обыденности сам? Конечно, нет, он пользуется мнением другого. Мыслить самому это особое переживание, и оно есть у каждого, кто хоть раз сам решил головоломку.
Вспомните школьника, который заглядывает в ответ в конце задачника. Мы считаем, что этот школьник теперь живёт в каждом из нас, только ответ лежит не в конце задачника, а в окне чата. Заглянул, сказал «ага», отправил клиенту, и ни разу не пережил, что решил сам. Это не про мораль. Это про то, кто в компании ещё мыслит сам, когда любой ответ стоит одну секунду.
Как ставить задачу модели, чтобы не перестать думать самому, мы разбираем в бесплатной Академии Solaris AI.
Что делать: сначала три строки своего ответа, потом вопрос модели, и сравнить, где разошлось.
Почему доллар кажется больше круга, а у машины нет мотивов
Потому что у человека есть ставка, а у машины нет. Как рассказывает Петухов, в начале пятидесятых Джером Брунер показывал людям два одинаковых кружка: бумажную фигуру и монету в один доллар. Монета устойчиво казалась больше. Человек не рассуждает, он так видит. Брунер объявил новый взгляд: мотивация влияет на восприятие, в образе проявляется личность.
Петухов замечает ход истории. Когнитивная психология сначала отделила познание от мотивации, а потом вернула её как фактор. Отделила потому, что познание, хотя бы частично, смоделировать можно, а мотивы человека нельзя. Ни один грамотный информатик, говорит Петухов, не скажет: моя машина имеет желание, моя машина имеет мотивы.
Прошло почти тридцать лет, и модели пишут «мне интересно». Значит, трезвость нужна именно в этом месте. У модели нет монеты, которая кажется больше: нет ставки, нет страха, и она не знает, что для вас дороже. Петухов цитирует Дюркгейма, который говорит за туземца: наша потребность не понимать мир, а жить в нём, и жизнь шире познания. На наш взгляд, ИИ в бизнесе полезен ровно до этой границы.
Что делать: решения про людей, ценности и риск оставляйте себе, модель пусть считает варианты.
Что в человеке нельзя смоделировать ни одной программой
Момент решения. Петухов делит любую деятельность на три уровня: операции, действия и собственно деятельность с её мотивом. Операции это автоматизмы, их смоделировать можно. Добавим от себя: именно их нейросеть уже делает лучше нас. В действии моделируется подготовка: изучить прошлые решения, разобрать условия задачи. А сам момент решения, когда человек вдруг понял, не моделируется.
Дальше его слова звучат как спор с нашим временем. Петухов просит понять его буквально и без эмоций: творчество смоделировать нельзя по определению. Если вы смоделировали творчество, вы превратили его в механизм, в алгоритм, в автомат. А значит, это уже не творчество.
Он не говорит, что машина глупа. Он говорит: смоделированное творчество перестаёт быть творчеством. На наш взгляд, это самый точный способ смотреть на нейросеть: она автомат там, где автомат уместен. Операции отдавайте. Подготовку к решению отдавайте. А момент, когда вы вдруг поняли, оставляйте себе. О другой лекции Петухова мы писали отдельно: 3 признака мысли, которых нет у нейросети.
Этот выпуск собрал наш ИИ-агент для YouTube, а человек проверил результат перед публикацией. Ровно по той же схеме: подготовку отдали автомату, решение о публикации оставили себе.
Если вы только планируете внедрять ИИ-агентов, заберите в нашем боте чек-лист «12 вопросов перед внедрением».
В своей голове отличайте «я видел» от «я рассуждаю» и не стыдитесь сказать «я там не был». В работе кормите модель своими фактами, а на её уверенный тон отвечайте одним словом: откуда? В общении с нейросетью сначала свой ответ, потом её, и разница между ними это и есть ваше мышление. Неграмотный крестьянин не знал слова «нейросеть», но знал главное: о чём не видел, о том не говорю.
Один шаг до пятницы, 23 октября: возьмите три последних ответа нейросети, которые ушли в работу, и у каждого утверждения пометьте, опирается ли оно на ваши данные или модель рассуждает.
Частые вопросы
Почему нейросеть врёт
Потому что она продолжает самую вероятную фразу, а не проверяет факт. У неё нет границы между тем, что она видела в ваших данных, и тем, что обычно пишут в похожих текстах. Крестьянин у Лурии молчал там, где не был, а модель молчать не умеет. Поэтому уверенный тон ответа ничего не говорит о его достоверности.
Что такое галлюцинации нейросети
Это уверенные ответы, которые не опираются ни на ваши данные, ни на проверенный факт. На наш взгляд, в терминах Петухова у такого ответа есть логическая достоверность, но нет эмпирической: текст обычно выглядит связно, но не опирается на факт. Для модели вопрос про белых медведей на севере и вопрос про хижину конкретного старика выглядят одинаково. В ваших отчётах разница огромная.
Как проверить ответ ChatGPT
Спросите у модели «откуда?» про каждое утверждение, которое идёт в работу. Отметьте, видела ли она это в ваших документах и цифрах или рассуждает по корпусу чужих текстов. Перед запросом напишите три строки своего ответа и сравните, где разошлось. Тем стариком, который там был, должны стать вы.
Можно ли доверять ChatGPT в бизнесе
Можно там, где достоверность логическая: сверить довод, разложить варианты, подготовить решение. Нельзя там, где нужна экологическая достоверность, то есть знание реальных условий вашего дела. У модели нет тела, опыта и склада, на котором заканчиваются яблоки. Решения про людей, ценности и риск оставляйте себе.
Может ли ИИ мыслить сам
Петухов говорил о человеке, а не о машине: творчество смоделировать нельзя по определению. На наш взгляд, отсюда ответ: нет, и дело не в мощности машины. Мыслить самому это особое переживание, которое знакомо каждому, кто сам решил головоломку. Операции и подготовку к решению смоделировать можно, а момент решения нет. Смоделированное творчество по определению превращается в автомат и перестаёт быть творчеством.
Что отдавать нейросети, а что оставлять себе
Отдавайте операции и подготовку: автоматизмы, разбор прошлых решений, условия задачи. Оставляйте себе момент, когда вы вдруг поняли, и любое решение, где есть ставка, страх и цена ошибки. У модели нет мотивов, даже если она пишет «мне интересно». Она автомат там, где автомат уместен.