Palantir отправила своих инженеров прямо внутрь NVIDIA. Задача звучит скучно, а на деле это сердце всей индустрии: планирование поставок чипов. В одной стойке Vera Rubin около 600 000 деталей от разных подрядчиков, и есть ещё Blackwell, Hopper и DGX. Всё, что NVIDIA успевает выпустить, уже продано, поэтому от скорости их планировщиков зависит вся экономика ИИ.
Инженер Palantir Сид Сингх рассказал, как они это делали. Мы разобрали его выступление в выпуске на семь с половиной минут: смотреть разбор на YouTube. Главное здесь не история про чипы, а то, что этот подход повторяется в бизнесе любого размера.
Первую неделю не писали продукт
Первую неделю у клиента в Palantir называют неделей Genesis. За неё не собирают ни одного экрана. Команда рисует карту бизнеса: какие в компании есть предметы (чипы, поставщики, подрядчики, заводы) и какие действия с ними совершают люди.
Они называют это онтологией, но по сути это честная схема того, кто, что и с кем делает. Продукт начали собирать только на четвёртый или пятый день, когда схема сошлась. И тогда клиент сказал то самое «вот это да».
Что делать: до всякого ИИ нарисуйте такую карту у себя. Обычно на ней сразу видно, где процесс держится на памяти одного человека.
Записывали все встречи и письма
С согласия NVIDIA команда записывала встречи, письма и разговоры с экспертами по поставкам и складывала это в ту же карту как память проекта. Теперь любое решение можно проследить до конкретной фразы, которую сказал клиент.
Сид формулирует жёстко: решение сотрудника это просто запись в журнале, пока оно не связано с результатом. Связка выглядит так: вот запрос к ИИ, вот что он предложил, вот что сделал человек, и вот выполнение заказов выросло или упало. Причина и следствие в одной строке.
Что делать: записывайте не только решения, но и их итог. Через месяц у вас появится то, чего нет почти ни у кого: история причин и следствий.
Свой экзамен для ИИ вместо чужих рейтингов
Дальше самая практичная часть. Из истории решений сделали экзамен. Взяли 100 разобранных случаев, 30 из них признали отличными, спрятали от обучения и превратили в тест. Каждая новая версия модели сдаёт этот экзамен.
Если показатель упал, значит, случился регресс, и модель не годится. Со временем тридцать случаев превращаются в триста, потом в три тысячи. Главное, что это ваш собственный тест, который живёт во времени, а не чужой рейтинг из интернета.
Что делать: соберите свои двадцать или тридцать эталонных случаев и прогоняйте на них каждую новую модель, прежде чем менять её в работе.
Маленькая модель обошла самую большую
Результат, ради которого стоило всё это затевать. На их собственном экзамене самая большая модель NVIDIA, Ultra, без обучения решала задачи на 50%, маленькая Nano на 33%. Потом они дообучили самую маленькую модель, Lightning на 3,5 миллиарда параметров, и она обошла Ultra.
Причина простая: в маленькую модель заложили очень конкретные знания планировщиков цепочек поставок. Общий интеллект на то и общий, он ничего не знает про ваш склад, пока вы его не научите.
Обучали двумя приёмами, и оба объясняются на бытовом уровне. Первый: показываешь модели два ответа, хороший и плохой, и говоришь, какой из них хороший. Второй: не переучиваешь всю модель, а правишь маленький кусочек под свою задачу.
Что делать: не гнаться за самой большой моделью. Маленькая с вашим опытом внутри окажется точнее и дешевле.
Почему это ещё и про безопасность
Маленькую модель можно обучать на паре видеокарт и держать на одной. Значит, переучивать хоть каждый день и запускать несколько версий сразу, оставляя победителя.
Всё это стоит внутри NVIDIA, на их серверах: софт, архитектура и сами модели принадлежат компании. Служба безопасности, по словам команды, была в восторге от уровня контроля, и это ускорило проект. Безопасность, встроенная с первого дня, не тормозит, а убирает бесконечные переделки потом.
Что делать: решите заранее, где будут жить модель и данные. Это дешевле, чем переделывать готовую систему под требования безопасности.
Три шага, которые повторяются в любом бизнесе
1. Нарисуйте карту: какие предметы есть в компании и какие действия люди с ними делают.
2. Записывайте решения вместе с их результатом. Это ваш будущий экзамен для любой модели.
3. Возьмите маленькую модель и научите её своему опыту вместо погони за самой большой.
Ценность в системе, а не в модели: модель меняется каждый квартал, а система, которая учится на ваших решениях, остаётся вашей.
Если хотите собрать такой цикл у себя, в бесплатной Академии Solaris мы разбираем это на практике. А если нужен готовый результат, мы внедряем ИИ в один процесс и замеряем его до и после.
Этот выпуск, как и остальные на канале, целиком собрал наш ИИ-агент: нашёл выступление, написал сценарий, перевёл и озвучил цитаты, смонтировал и загрузил. Как из этих роликов приходят подписчики, я посчитал в отдельной статье.
Частые вопросы
Почему маленькая модель может быть точнее большой?
Потому что её дообучают на конкретных решениях компании. Большая модель знает много общего, но ничего не знает про ваш склад, ваших поставщиков и ваши правила. На собственном тесте NVIDIA дообученная модель на 3,5 миллиарда параметров обошла самую большую.
Что такое карта бизнеса, с которой начинают внедрение?
Схема того, какие сущности есть в компании (заказы, поставщики, детали, клиенты) и какие действия с ними совершают сотрудники. Без неё ИИ получает задачу без контекста и принимает решения за вас там, где вы этого не заметите.
Как проверять новую модель перед заменой?
Собрать свой набор эталонных случаев из прошлых решений, спрятать их от обучения и прогонять каждую новую версию. Если результат упал, модель не ставят в работу.
Нужно ли много данных, чтобы дообучить модель?
Обычно меньше, чем кажется. NVIDIA и Palantir достраивали недостающие примеры инструментами генерации и чистили их от мусора. Основная ценность в том, чтобы записывать реальные решения и их результат.
Где держать свою модель?
Там, где вам позволяет политика безопасности: на своих серверах или в своём контуре. Маленькой модели хватает одной видеокарты, поэтому вариант «всё внутри компании» реален даже для среднего бизнеса.