Saya telah banyak berpikir tentang data. Untuk model bahasa besar, rasanya seperti ada aliran data yang tak ada habisnya. Teruslah memberinya makan. Tetapi untuk robot, ini adalah cerita yang berbeda. Ini adalah gurun yang keras. Apa yang bisa kita lakukan?

@cot_research 2/x Yang menonjol bagi saya adalah asimetri belaka. LLM berlatih triliunan token. Kumpulan data robotika, sebagai perbandingan, sangat kecil; seringkali 1.000.000x lebih kecil. Ini karena loop umpan balik fisik lambat dan mahal. Setiap interaksi nyata membakar perangkat keras.

3/x Jadi, bagaimana kita menjembatani kesenjangan itu? Salah satu pendekatan kritis adalah simulasi. Ini memungkinkan robot belajar tanpa putus. Mereka bisa gagal seribu kali dan masih bangkit. Di sinilah IQ fisik mulai berskala. Lebih banyak komputasi berarti kebijakan yang lebih cerdas.

4/x Tapi simulasi memiliki batasnya. Ada "kesenjangan sim-ke-nyata" yang terus-menerus. Fisika sulit untuk dimodelkan secara akurat. Permukaan berperilaku terlalu dapat diprediksi. Kebijakan yang bekerja dengan sempurna di dapur virtual mungkin tersandung di lantai nyata.

5/x Inilah sebabnya mengapa data dunia nyata tidak dapat dinegosiasikan. Robot membutuhkan penginderaan multimodal: penglihatan, sentuhan, kekuatan, audio. Setiap sensor mengisi celah yang ditinggalkan oleh yang lain. Mereka memberikan konteks yang sebenarnya. Melapisi sinyal ini, yang disebut fusi multimodal, memungkinkan robot memutuskan apa yang akan terjadi selanjutnya.

6/x Saya menemukan demonstrasi manusia sangat menarik di sini. Menunjukkan robot bagaimana melakukan sesuatu jauh lebih efisien daripada membiarkannya menemukan aturan dari awal. Pikirkan teleoperasi, atau bahkan memandu robot secara fisik. Kami mengajari mereka, bukan hanya mengumpulkan data mentah.

7/x Bagi saya, kisah sebenarnya di sini adalah konvergensi. Simulasi memberi kita skala. Tetapi data dunia nyata, bit yang berantakan dan tidak dapat diprediksi, membuat model tetap membumi. Ini mengekspos asumsi yang tidak pernah muncul dalam simulasi yang sempurna.

8/8 Pada akhirnya, saya pikir jalan ke depan untuk AI fisik bergantung pada pergeseran kritis. Pelatihan bukan penyerapan himpunan data satu kali; Ini adalah proses pembelajaran yang berkelanjutan dan adaptif. Ini membangun lapisan kepercayaan dasar untuk ekonomi otonom.

Saya menguraikan dengan tepat bagaimana dalam karya robotika terbaru saya: