Tenho pensado muito sobre dados. Para modelos de linguagem grandes, parece que há um fluxo interminável de dados. Basta continuar a alimentá-los. Mas para robôs, é uma história diferente. É um deserto árido. O que podemos fazer?

@cot_research 2/x O que me chama a atenção é a pura assimetria. Os LLMs treinam em trilhões de tokens. Os conjuntos de dados de robótica, em comparação, são minúsculos; muitas vezes 1.000.000x menores. Isto porque os ciclos de feedback físico são lentos e caros. Cada interação real consome hardware.

3/x Então, como podemos preencher essa lacuna? Uma abordagem crítica é a simulação. Isso permite que os robôs aprendam sem quebrar. Eles podem falhar mil vezes e ainda assim se levantar. É aqui que o QI físico começa a escalar. Mais computação significa políticas mais inteligentes.

4/x Mas a simulação tem seus limites. Existe uma persistente "lacuna entre simulação e realidade." A física é difícil de modelar com precisão. As superfícies se comportam de forma muito previsível. Uma política que funciona perfeitamente em uma cozinha virtual pode tropeçar em um chão real.

5/x É por isso que os dados do mundo real são inegociáveis. Os robôs precisam de sensoriamento multimodal: visão, toque, força, áudio. Cada sensor preenche as lacunas deixadas pelos outros. Eles fornecem o verdadeiro contexto. Sobrepondo esses sinais, chamado de fusão multimodal, permite que o robô decida o que vem a seguir.

6/x Acho a demonstração humana particularmente convincente aqui. Mostrar a um robô como fazer algo é muito mais eficiente do que deixá-lo descobrir as regras do zero. Pense em teleoperação, ou até mesmo em guiar fisicamente um robô. Estamos a ensiná-los, não apenas a coletar dados brutos.

7/x Para mim, a verdadeira história aqui é a convergência. A simulação nos dá escala. Mas os dados do mundo real, as partes desordenadas e imprevisíveis, mantêm os modelos ancorados. Isso expõe suposições que nunca aparecem em uma simulação perfeita.

8/8 No final, acho que o caminho a seguir para a IA física depende de uma mudança crítica. O treinamento não é uma ingestão de dados única; é um processo de aprendizagem contínua e adaptativa. Isto constrói a camada de confiança fundamental para uma economia autónoma.

Eu explico exatamente como na minha mais recente peça sobre robótica: