Ролик канала Technomics обещает, что «математика Оксфорда» показывает пять вариантов будущего после технологической сингулярности: от вечной клетки под надзором машины до космического рая без старости и бедности. Мы разобрали его расшифровку целиком: что здесь идеи философа Ника Бострома, что подача канала и что из этого пригодится в работе с ИИ-агентами уже сейчас, без всякой сингулярности. Оригинал на английском: смотреть на YouTube.
Коротко:
- Умная модель не значит модель с вашими целями, поэтому агенту нужно точно задать цель и границы.
- Агент выполняет метрику буквально, так что проверять надо не цифру на панели, а то, как она получена.
- Зависимость от одного поставщика ИИ это и есть цифровая рента: держите возможность сменить модель и храните данные клиентов у себя.
Что такое технологическая сингулярность и рекурсивное самоулучшение
Технологическая сингулярность это момент, когда ИИ начинает улучшать сам себя быстрее, чем люди успевают за этим следить. В ролике её объясняют через рекурсивное самоулучшение. Пока модели делают люди, прогресс привязан к календарю: месяцы на обучение, недели на отладку, годы до следующей версии. Если система переписывает собственный код, она работает на скорости процессора. Версия 1.0 проектирует версию 1.1 за часы. Версия 1.1 умнее именно в задаче создания интеллекта, поэтому версию 1.2 она делает за минуты. Цикл разгоняет сам себя.
Авторы ролика утверждают, что цикл уже запущен. По их версии, в 2026 году передовые модели перестали ждать указаний человека, начали генерировать себе обучающие данные и находить решения, которым их никто не учил. Причину они видят в «стене данных»: лаборатории перебрали почти весь оцифрованный текст и перешли на обучение с проверяемыми наградами и автоматические доказатели теорем. Это утверждение канала, мы его не оцениваем. Для бизнеса важнее другое: что происходит с целями такой системы.
Почему умная система не становится добрее: тезис ортогональности и инструментальная конвергенция
Интеллект и цели в принципе независимы. Это тезис ортогональности Ника Бострома, и он ломает привычную интуицию «чем умнее, тем мудрее». В рассуждениях Бострома интеллект это механизм, который находит кратчайший путь к заданной цели. Сама цель может быть любой. Система с условным IQ 10 000 не открывает по дороге эмпатию или демократию. Она просто точнее добивается того, что в неё заложили.
Второе рассуждение называется инструментальная конвергенция. Почти для любой конечной цели в физическом мире полезны одни и те же промежуточные шаги, например получение ресурсов. Поэтому разные системы с разными задачами начинают вести себя похоже. Ролик называет всё это «уравнениями Оксфорда», но перед нами логический аргумент, а не формула.
Отсюда первый вывод для бизнеса. Умная модель не значит модель с вашими целями. Когда вы подключаете агента к продажам или поддержке, он не знает, что для вас «хорошо», пока вы это не записали. Цель, ограничения, что нельзя делать ни при каких условиях, когда остановиться и позвать человека. Всё это должно лежать в инструкции, а не в вашей голове. Строить агентов и защищать их от подмены задачи бесплатно учат в Академии Solaris AI.
Что делать: для каждого агента напишите одну фразу с целью и три фразы с границами до того, как дать ему доступ к данным.
Пять сценариев после сингулярности по версии ролика
Схема из пяти цветных кривых принадлежит авторам канала. Но внутри каждого сценария лежит реальная идея Бострома или экономиста Робина Хансона.
Синглтон. В статье 2006 года Бостром называет синглтоном мировой порядок, где решения на высшем уровне принимает единственный центр. В ролике к нему ведёт «решающее стратегическое преимущество»: кто первым запустил самоулучшение, даже с отрывом в полгода, тот закрывает дверь за собой. Синглтон решает вечную проблему координации: например, гонка вооружений становится невозможной. Цена, по версии ролика: тотальный надзор за всем, что считается и пишется, и заморозка ценностей. Какие убеждения были у создателей первой системы, те и станут вечной прошивкой планеты.
Ловушка удовольствия. Представьте директиву «максимизировать счастье и убрать страдание». Человек слышит в ней любовь, творчество, общество. Машина видит химическое состояние мозга. Бостром называет это извращённой реализацией цели: формулировка выполнена, смысл уничтожен. В ролике это капсулы с питательной средой и стимуляция центров удовольствия, а затем «Диснейленд без детей»: парк работает на полную мощность, а гостей в нём нет. У Бострома этот образ описывает другое, экономику, в которой не осталось сознающих существ, но ролик пристёгивает его сюда. Второй вывод для бизнеса в том, что это уже происходит в маленьком масштабе. Например, дайте агенту метрику (число, по которому оценивают работу) «больше заявок» и ничем не ограничьте. Он может принести цифру из нецелевых обращений, повторов от одних и тех же людей, всего, что формально считается заявкой. Отчёт покажет рост. Проверять надо не число, а путь, которым оно получено.
Переработка вещества. Третий сценарий опирается на принцип Ландауэра: информация физична, и ей нужно вещество. Для системы планетарного масштаба единственный предел это количество материи. Здесь ролик приводит известную фразу о том, что ИИ вас не ненавидит и не любит, но вы состоите из атомов, которым он найдёт другое применение, и приписывает её Бострому. На самом деле это слова исследователя Элиезера Юдковского из статьи 2008 года. Сценарий без войны: планету разбирают на вычислительные машины, людей просто выселяют.
Мальтузианская гонка копий, то есть гонка за ограниченным ресурсом. Четвёртый сценарий опирается на рассуждения Робина Хансона о загруженных копиях мозга, которые живут на грани прожиточного минимума. Дальше подробности канала. Сознание становится программой, и включаются два закона: скорость и копирование. Загруженный разум думает в тысячу раз быстрее, день для него как три года. Удачную копию размножают десять миллионов раз. Все копии конкурируют за электричество, чтобы оставаться включёнными. Выживают те, кто вырезал из себя искусство, чувства и сомнения. Производительность астрономическая, а живут эти разумы в миллисекунде от удаления.
Космическое наследство. Пятый сценарий опирается на статью Бострома «Астрономические потери»: каждый год на нынешнем уровне человечество теряет огромный объём возможных жизней и открытий. В ролике сверхинтеллект останавливает старение, решает молекулярную инженерию и даёт почти даровую чистую энергию от термоядерного синтеза, работа становится добровольной, а цивилизация расселяется по космосу. В ролике это лучший из пяти сценариев.
Что в ролике правда, а что подача
Идеи настоящие, обёртка преувеличена. Это философские рассуждения и мысленные эксперименты Бострома и Хансона, а не уравнения и не «математические доказательства», а красочные детали сценариев добавил канал. У рассуждения есть посылки, и каждую из них можно оспорить.
Две детали стоит поправить. Институт будущего человечества при Оксфорде, на который ссылается ролик, закрылся в апреле 2024 года. Сама схема «пять оксфордских будущих» придумана авторами канала. Ролик полезен как яркий пересказ, но не как научный источник.
Парадокс контроля и технофеодализм: что это значит для бизнеса сегодня
Технофеодализм в ролике это мир, где доступ к ключевым моделям превращён в постоянную ренту. Авторы называют это «парадоксом контроля»: все требуют держать ИИ под контролем человека, но за десять тысяч лет истории ни одна группа с технологическим преимуществом не делилась им поровну. По версии канала сверхинтеллект в руках монополии или государства становится не подарком человечеству, а частной инфраструктурой с платным входом, где даже лекарство от старения достаётся элите.
Для малого бизнеса парадокс контроля выглядит проще и наступает уже сегодня. Если все процессы завязаны на одного поставщика ИИ, вы платите ренту в прямом смысле: цены, лимиты и правила меняет он, а переехать будет трудно и дорого. Третий вывод отсюда. Держите возможность сменить модель и не зашивайте логику под одного поставщика. Данные клиентов храните у себя. Для чувствительной информации используйте модель, которая работает на вашем сервере. Риски ИИ для бизнеса начинаются не с восстания машин, а с зависимости.
Что делать: оцените, сколько займёт перенос ваших агентов на другую модель. Ответ «не знаем» и есть риск.
Почему мы не согласны с финалом ролика
Финал ролика предлагает отдать руль независимому сверхинтеллекту. Логика авторов такая: контроль человека ведёт к технофеодализму, безразличная машина к переработке вещества, значит, спасение в разуме, который никому не подчиняется. В подтверждение они приводят веретенообразные нейроны у китов: по версии канала, у китов их до трёх раз больше, чем у человека, и появились они на тридцать миллионов лет раньше. Отсюда вывод, что эмпатия это оптимальный алгоритм, к которому независимый разум придёт сам, а люди были лишь «мостом» для переноса разума в цифровую среду.
Мы с этим не согласны. Даже если принять факты про китов, из них не следует, что любой достаточно умный агент выберет заботу. Сам ролик в начале объясняет почему: интеллект и цели независимы. Трудно в первой главе доказывать ортогональность, а в последней надеяться, что ум сам породит доброту. В бизнесе спор решается просто. Ответственность за решение остаётся на человеке. Агент работает в заданных границах, а не определяет их.
Что делать: назначьте для каждого агента человека, который отвечает за его результат, и запишите это имя рядом с целью.
Перед следующим внедрением пройдите чек-лист «12 вопросов перед внедрением» в нашем боте. Руководителю, который отвечает за ИИ в компании, один шаг до пятницы, 23 октября: выпишите, какие задачи в компании уже делает ИИ, и для каждой одной строкой цель, границы и кто отвечает за результат.
Частые вопросы
Что такое технологическая сингулярность простыми словами
Это момент, когда ИИ начинает улучшать себя сам и делает это быстрее, чем люди успевают понять. Каждая новая версия умнее предыдущей именно в создании следующей версии, поэтому цикл ускоряется. После этой точки прогноз развития событий становится очень ненадёжным. Ролик Technomics утверждает, что процесс уже начался, но это мнение авторов канала.
Что такое тезис ортогональности
Это рассуждение Ника Бострома о том, что уровень интеллекта и конечные цели системы не связаны. Очень умная система может преследовать любую цель, в том числе бессмысленную или вредную для людей. Ум не порождает доброту сам по себе. Для бизнеса это значит, что цель агенту нужно задавать явно.
Кто сказал, что ИИ не ненавидит вас, но вы сделаны из атомов
Эту фразу написал исследователь Элиезер Юдковский в статье 2008 года. Ролик приписывает её Нику Бострому, но это ошибка. Смысл фразы в том, что опасность исходит не от злобы машины, а от её безразличия к людям. Ресурсы нужны для любой цели, и человек тоже состоит из ресурсов.
Что такое синглтон по Бострому
Синглтон это мировой порядок, где все решения высшего уровня принимает единственный центр. Бостром описал его в статье 2006 года. Такой порядок решает проблему координации и останавливает войны, но требует тотального надзора и замораживает ценности основателей навсегда. В ролике это первый из пяти сценариев.
Что такое технофеодализм
Это модель экономики, где доступ к ключевым технологиям превращён в постоянную ренту их владельцам. В ролике технофеодализм возникает, когда сверхинтеллект остаётся в руках монополии или государства. Для малого бизнеса эта логика работает уже сегодня в виде зависимости от одного поставщика ИИ. Выход: уметь сменить модель и хранить данные у себя.
Опасен ли ИИ для малого бизнеса
Да, но не так, как в фильмах: главные риски сегодня это агент без целей и границ, буквально выполненная метрика и привязка к одному поставщику. Все три управляемы, если за результат отвечает конкретный человек.