Стефани Хэйр, ведущая программы про искусственный интеллект на Би-би-си, вышла на сцену TEDxBerlin с самым неудобным вопросом про военный ИИ: кто ответит, если автономное оружие убьёт людей.
Тема кажется далёкой от бизнеса. Но её главный вывод переносится на любую компанию, где ИИ уже принимает решения за сотрудников. Фраза «так решил алгоритм» не снимает ответственности ни с кого. Мы разобрали выступление в выпуске на канале: смотреть разбор на YouTube.
Почему спорить о том, «убьёт ли нас ИИ», бессмысленно
Хэйр снимает этот спор сразу: никто не хочет оказаться правым в этой дискуссии постфактум. Правильный вопрос другой: как сделать так, чтобы за решения ИИ всегда отвечали конкретные люди.
Четыре года назад она написала книгу с названием «Технология не нейтральна», и тогда это была тема для узкого круга. В прошлом месяце примерно то же самое написал Папа Римский в энциклике: технология берёт черты тех, кто её создаёт, финансирует и применяет.
Автономное оружие и почему это другой случай
Беспилотные машины и чат-боты уже приводили к гибели людей, но это были ошибки. Когда такое случается, поставщика можно вызвать в суд, и механизм работает.
С боевым ИИ всё иначе: если система убила, это не сбой, а именно то, для чего её сделали. При этом, подчёркивает Хэйр, сегодняшний ИИ ненадёжен и может выбрать целью не солдат, а мирных жителей.
Для предпринимателя урок ровно тот же: если ИИ делает то, для чего вы его настроили, сбоем это уже не назовёшь. Агент, который по вашей инструкции отказал клиенту или выставил счёт, действует не случайно.
Что делать: проверить, на что именно настроен ваш ИИ и какие решения он принимает сам.
Спор Трампа и Anthropic на самом деле не про технологии
Глава Anthropic Дарио Амодеи, по словам Хэйр, не против автономного оружия как такового. Его беспокоит другое: ИИ внутри него сегодня недостаточно надёжен, и поэтому могут погибнуть невинные люди. Починится надёжность, дальше зелёный свет.
Трамп это предложение отклонил, потому что видит здесь не техническую, а политическую проблему: как главнокомандующий он считает, что сам решает, чем воевать.
Хэйр замечает: оба исходят из того, что общество согласно на такое оружие, а это не так. И ни один из них не отвечает на главный вопрос, кто ответит, если оно убьёт.
Отдельно она разбирает аргумент британского министра: человек в контуре нужен, но нужна возможность его убрать, потому что противник себя такими ограничениями не связывает. Ответ Хэйр простой и он же самый полезный для бизнеса: убрать человека из контура это тоже решение, и его принимает человек.
Что делать: решение «отдаём это ИИ» фиксировать письменно, с фамилией того, кто его принял. Фраза «мы отдали это модели» ответственности не снимает, вы решили отдать.
В контуре нет ни одного алгоритма
Вот кого Хэйр видит в цепочке: тех, кто финансирует, пишет код, собирает, продаёт, покупает, не запрещает и применяет. Ни одного алгоритма, только люди, и у каждого есть имя и подпись.
Дальше она даёт три варианта, что делать с автономным оружием:
1. Полный запрет с инспекциями, как для оружия массового поражения.
2. Сдерживание: строить только для защиты, чтобы противник не рискнул применить своё.
3. Ничего, то есть то, что мир делает сейчас, и надеяться, что обойдётся.
Выбрать помогает вопрос об ответственности, а инструмент для ответа уже существует и называется законом: кто поставил или применил, тот и ответит в суде.
Урок Нюрнберга, который звучит современно
Хэйр напоминает, что стоит в Германии, где восемьдесят лет назад судили не только политиков и военных, но и руководителей корпораций. Многие защищались одинаково: я просто выполнял приказ. Суд эту защиту отвергал.
Просто выполнять приказ это именно то, что делает ИИ. И его за это не посадишь: отвечать будет человек, который дал приказ, купил систему или не проверил, что она делает.
Звучит тяжело, но перенос в обычную жизнь простой. Клиент, налоговая или суд спросят вас, а не модель. «Так решил алгоритм» в этом разговоре весит ровно столько же, сколько «я выполнял приказ».
Что сделать в своей компании на этой неделе
Не потому, что придёт трибунал, а потому, что это дешевле, чем разбираться потом.
1. Выпишите три процесса, где ИИ уже что-то решает сам: ответы клиентам, отбор заявок, тексты, расчёты, закупки.
2. Для каждого назовите фамилию человека, который отвечает за результат. Не отдел, а человека.
3. Запишите границы: что агент делает сам, что только предлагает, где обязательно подтверждение.
4. Включите журнал: каждое действие агента сохраняется, и его можно поднять через месяц.
5. Раз в месяц читайте выборку решений глазами. Не отчёт, а сами решения.
Первые три пункта не требуют ни бюджета, ни разработчика, только полчаса и честность.
Как это устроено у нас
Мы закладываем ответственность в проект с самого начала, потому что иначе внедрение превращается в спор «кто виноват, что бот так ответил».
В любом внедрении ИИ мы описываем процесс словами вместе с командой заказчика, отдельно фиксируем, что агент делает сам, а что только готовит для человека, и с первого дня ведём журнал действий.
Если агент уже работает и смотрит наружу, добавляется вторая задача: его самого пытаются обойти и вытащить через него данные. Этим занимается защитный контур для ИИ-агентов.
А если хотите разобраться сами и научиться отдавать задачи ИИ, не теряя контроль, у нас есть бесплатная Академия Solaris.
Частые вопросы
Кто отвечает за ошибку ИИ в компании?
Тот, кто принял решение поручить задачу модели, настроил её и не проверил результат. Ответственность не переходит на алгоритм ни юридически, ни перед клиентом.
Что такое человек в контуре простыми словами?
Точка, где решение подтверждает человек: он ставит задачу, утверждает результат или может остановить процесс. Убрать эту точку тоже можно, но это отдельное решение, которое принимает человек.
Чем автономное оружие отличается от других ошибок ИИ?
Беспилотник или чат-бот убивает по ошибке, и это разбирается в суде как дефект. Автономное оружие делает это по замыслу, поэтому вопрос ответственности встаёт заранее, а не постфактум.
В чём суть спора Трампа и Anthropic?
Глава Anthropic возражает не против самого оружия, а против ненадёжного ИИ внутри него. Трамп считает вопрос политическим и оставляет решение за собой. Ни одна из позиций не отвечает, кто ответит за жертвы.
С чего начать бизнесу, чтобы не прятаться за алгоритм?
Выписать процессы, где ИИ уже решает, назначить ответственного человека по каждому, зафиксировать границы полномочий агента и включить журнал его действий.