Jeg har tenkt mye på data. For store språkmodeller føles det som om det er en endeløs strøm av data. Bare fortsett å mate den. Men for roboter er det en annen historie. Det er en hard ørken. Hva kan vi gjøre?

@cot_research 2/x Det som skiller seg ut for meg er den rene asymmetrien. LLM-er trener på billioner av tokens. Robotikkdatasett er til sammenligning små; ofte 1 000 000 ganger mindre. Dette er fordi fysiske tilbakemeldingssløyfer er trege og kostbare. Hver reell interaksjon brenner maskinvare.

3/x Så, hvordan bygger vi bro over det gapet? En kritisk tilnærming er simulering. Den lar roboter lære uten å gå i stykker. De kan mislykkes tusen ganger og fortsatt reise seg. Det er her fysisk IQ begynner å skalere. Mer databehandling betyr smartere retningslinjer.

4 / x Men simulering har sine begrensninger. Det er et vedvarende «sim-til-real-gap». Fysikk er vanskelig å modellere nøyaktig. Overflater oppfører seg for forutsigbart. En policy som fungerer perfekt i et virtuelt kjøkken kan snuble over et ekte gulv.

5/x Dette er grunnen til at data fra den virkelige verden ikke er omsettelige. Roboter trenger multimodal sensing: syn, berøring, kraft, lyd. Hver sensor fyller ut hull etter de andre. De gir den sanne konteksten. Ved å legge disse signalene lagvis, kalt multimodal fusjon, kan roboten bestemme hva som er det neste.

6/x Jeg synes menneskelig demonstrasjon er spesielt overbevisende her. Å vise en robot hvordan man gjør noe er langt mer effektivt enn å la den oppdage regler fra bunnen av. Tenk på teleoperasjon, eller til og med fysisk veiledning av en robot. Vi lærer dem, ikke bare samler inn rådata.

7/x For meg er den virkelige historien her konvergensen. Simulering gir oss skala. Men data fra den virkelige verden, de rotete, uforutsigbare bitene, holder modellene på bakken. Den avslører antagelser som aldri dukker opp i en perfekt simulering.

8/8 Til syvende og sist tror jeg veien fremover for fysisk AI avhenger av et kritisk skifte. Opplæring er ikke en engangsinntak av datasett. det er en kontinuerlig, adaptiv læringsprosess. Dette bygger det grunnleggende tillitslaget for en autonom økonomi.

Jeg bryter ned nøyaktig hvordan i mitt siste robotikkstykke: