Я много думал о данных. Для больших языковых моделей кажется, что существует бесконечный поток данных. Просто продолжайте их подавать. Но для роботов это другая история. Это сурвая пустыня. Что мы можем сделать?

@cot_research 2/x Что меня поразило, так это явная асимметрия. LLM обучаются на триллионах токенов. Для сравнения, наборы данных по робототехнике крошечные; часто в 1,000,000 раз меньше. Это связано с тем, что физические обратные связи медленные и дорогостоящие. Каждое реальное взаимодействие требует затрат на оборудование.

3/x Итак, как нам преодолеть этот разрыв? Один из критически важных подходов — это симуляция. Она позволяет роботам учиться, не ломаясь. Они могут потерпеть неудачу тысячу раз и все равно встать. Здесь начинается масштабирование физического интеллекта. Больше вычислительных мощностей означает более умные стратегии.

4/x Но у симуляции есть свои пределы. Существует постоянный "разрыв между симуляцией и реальностью." Физику сложно точно смоделировать. Поверхности ведут себя слишком предсказуемо. Политика, которая идеально работает в виртуальной кухне, может столкнуться с проблемами на настоящем полу.

5/x Вот почему данные из реального мира являются обязательными. Роботам необходимо многомодальное восприятие: зрение, осязание, сила, звук. Каждый датчик заполняет пробелы, оставленные другими. Они предоставляют истинный контекст. Накладывание этих сигналов, называемое многомодальной фузией, позволяет роботу решать, что делать дальше.

6/x Я нахожу человеческую демонстрацию особенно убедительной здесь. Показать роботу, как что-то сделать, гораздо эффективнее, чем позволить ему открывать правила с нуля. Думайте о телеприсутствии или даже о физическом управлении роботом. Мы обучаем их, а не просто собираем сырые данные.

7/x Для меня настоящая история здесь — это конвергенция. Симуляция дает нам масштаб. Но реальные данные, эти грязные, непредсказуемые моменты, держат модели на земле. Они выявляют предположения, которые никогда не появляются в идеальной симуляции.

8/8 В конечном итоге, я думаю, что путь вперед для физического ИИ зависит от критического сдвига. Обучение — это не одноразовое поглощение набора данных; это непрерывный, адаптивный процесс обучения. Это создает основополагающий уровень доверия для автономной экономики.

Я подробно объясняю, как именно, в своей последней статье о робототехнике: