Menurut pendapat saya, hal terpenting dari hasil ini adalah bahwa model emas Olimpiade Matematika Internasional (IMO) @OpenAI kami juga merupakan model pengkodean kompetitif terbaik kami. 🧵

Setelah IMO, kami menjalankan eval penuh pada model emas IMO dan menemukan bahwa selain hanya matematika kompetitif, itu juga merupakan model terbaik kami di banyak bidang lain, termasuk pengkodean. Jadi orang-orang memutuskan untuk mengambil model emas IMO yang sama persis, tanpa perubahan apa pun, dan menggunakannya dalam sistem untuk IOI.

Perancah IOI melibatkan pengambilan sampel dari beberapa model yang berbeda dan kemudian menggunakan model lain dan heuristik untuk memilih solusi untuk dikirimkan. Sistem ini meraih medali emas, menempati posisi ke-6 di antara manusia. Model emas IMO memang terbaik dari semua model yang kami sampelkan.

Untuk lebih jelasnya, sistem ini menggunakan perancah, meskipun perancah yang lebih ringan dari tahun lalu. Itu hanya memutuskan sampel mana dari model tujuan umum yang akan dikirimkan. Saya optimis bahwa tahun depan kami akan merasa yakin model itu sendiri dapat melakukan lebih baik daripada perancah apa pun yang dapat kami buat.

Saya tidak terlibat dalam pekerjaan ini. Selamat banyak kepada @sherylhsu02, @alexwei_, @bminaiev dan oleg murk, serta @_lorenzkuhn, @MostafaRohani, @clavera_i, @andresnds, @ahelkky, dan banyak lainnya atas hasil ini!