Hodně jsem přemýšlel o datech. U velkých jazykových modelů to vypadá, jako by existoval nekonečný proud dat. Prostě ho krmte dál. U robotů je to ale něco jiného. Je to drsná poušť. Co s tím můžeme dělat?

@cot_research 2/x Co mě zaráží, je naprostá asymetrie. LLM trénují na bilionech tokenů. Robotické datové sady jsou ve srovnání s tím malé; často 1 000 000x menší. Je to proto, že fyzické zpětnovazební smyčky jsou pomalé a nákladné. Každá skutečná interakce spaluje hardware.

3/x Jak tedy tuto propast překlenout? Jedním z kritických přístupů je simulace. Umožňuje robotům učit se, aniž by se museli rozbíjet. Mohou tisíckrát selhat a přesto vstát. To je místo, kde se fyzické IQ začíná škálovat. Více výpočetních prostředků znamená chytřejší zásady.

4/x Simulace má ale své limity. Existuje přetrvávající "mezera mezi simulací a realitou". Fyziku je těžké přesně modelovat. Povrchy se chovají příliš předvídatelně. Politika, která dokonale funguje ve virtuální kuchyni, může narazit na skutečné patro.

5/x To je důvod, proč jsou data z reálného světa neoddiskutovatelná. Roboti potřebují multimodální snímání: vidění, hmat, sílu, zvuk. Každý senzor vyplňuje mezery po ostatních. Poskytují skutečný kontext. Vrstvení těchto signálů, nazývané multimodální fúze, umožňuje robotovi rozhodnout, co bude dál.

6/x Považuji zde za obzvláště přesvědčivou lidskou demonstraci. Ukázat robotovi, jak něco udělat, je mnohem efektivnější, než ho nechat objevovat pravidla od nuly. Vzpomeňte si na teleoperaci, nebo dokonce na fyzické vedení robota. Učíme je, ne jen sbíráme surová data.

7/x Pro mě je skutečným příběhem konvergence. Simulace nám dává měřítko. Ale data z reálného světa, chaotické, nepředvídatelné části, drží modely při zemi. Odhaluje předpoklady, které se v dokonalé simulaci nikdy neobjeví.

8/8 Nakonec si myslím, že cesta vpřed pro fyzickou umělou inteligenci závisí na kritickém posunu. Trénování není jednorázový příjem datových sad; Je to nepřetržitý, adaptivní proces učení. To vytváří základní vrstvu důvěry pro autonomní ekonomiku.

Ve svém nejnovějším článku o robotice přesně rozebírám, jak na to: