Tenho pensado muito sobre dados. Para grandes modelos de linguagem, parece que há um fluxo infinito de dados. Apenas continue alimentando-o. Mas para os robôs, é uma história diferente. É um deserto rigoroso. O que podemos fazer?

@cot_research 2/x O que se destaca para mim é a pura assimetria. Os LLMs treinam em trilhões de tokens. Os conjuntos de dados de robótica, em comparação, são minúsculos; muitas vezes 1.000.000x menor. Isso ocorre porque os ciclos de feedback físico são lentos e caros. Cada interação real queima hardware.

3/x Então, como preenchemos essa lacuna? Uma abordagem crítica é a simulação. Ele permite que os robôs aprendam sem quebrar. Eles podem falhar mil vezes e ainda se levantar. É aqui que o QI físico começa a escalar. Mais computação significa políticas mais inteligentes.

4/x Mas a simulação tem seus limites. Há uma persistente "lacuna entre o sim e o real". A física é difícil de modelar com precisão. As superfícies se comportam de maneira muito previsível. Uma política que funciona perfeitamente em uma cozinha virtual pode tropeçar em um andar real.

5/x É por isso que os dados do mundo real não são negociáveis. Os robôs precisam de detecção multimodal: visão, toque, força, áudio. Cada sensor preenche as lacunas deixadas pelos outros. Eles fornecem o verdadeiro contexto. A sobreposição desses sinais, chamada de fusão multimodal, permite que o robô decida o que vem a seguir.

6/x Acho a demonstração humana particularmente convincente aqui. Mostrar a um robô como fazer algo é muito mais eficiente do que deixá-lo descobrir regras do zero. Pense em teleoperação ou até mesmo guiar fisicamente um robô. Estamos ensinando-os, não apenas coletando dados brutos.

7/x Para mim, a verdadeira história aqui é a convergência. A simulação nos dá escala. Mas os dados do mundo real, os bits confusos e imprevisíveis, mantêm os modelos fundamentados. Ele expõe suposições que nunca aparecem em uma simulação perfeita.

8/8 Em última análise, acho que o caminho a seguir para a IA física depende de uma mudança crítica. O treinamento não é uma ingestão única de conjunto de dados; É um processo de aprendizagem contínuo e adaptativo. Isso cria a camada de confiança fundamental para uma economia autônoma.

Eu explico exatamente como em meu último artigo sobre robótica: