Etter min mening er det viktigste å ta med seg fra dette resultatet at vår gullmodell for @OpenAI International Math Olympiad (IMO) også er vår beste konkurrerende kodingsmodell. 🧵

Etter IMO kjørte vi full evaluering på IMO-gullmodellen og fant ut at bortsett fra bare konkurrerende matematikk, var det også vår beste modell på mange andre områder, inkludert koding. Så folk bestemte seg for å ta den samme eksakte IMO-gullmodellen, uten noen endringer, og bruke den i systemet for IOI.

IOI-stillaset innebar prøvetaking fra noen få forskjellige modeller og deretter bruk av en annen modell og en heuristikk for å velge løsninger for innsending. Dette systemet oppnådde en gullmedalje, og plasserte seg på 6.-plass blant mennesker. IMO-gullmodellen gjorde det faktisk best av alle modellene vi prøvde fra.

For å være tydelig, brukte dette systemet stillas, men et lettere stillas enn i fjor. Den bestemte bare hvilke prøver fra generelle modeller som skulle sendes inn. Jeg er optimistisk om at vi neste år vil føle oss sikre på at modellen i seg selv kan gjøre det bedre enn noe stillas vi kunne komme opp med.

Jeg var ikke involvert i dette arbeidet. Stor gratulasjon til @sherylhsu02, @alexwei_, @bminaiev og Oleg Murk, samt @_lorenzkuhn, @MostafaRohani, @clavera_i, @andresnds, @ahelkky og mange mange andre med dette resultatet!