À mon avis, la chose la plus importante à retenir de ce résultat est que notre modèle en or de l'@OpenAI International Math Olympiad (IMO) est également notre meilleur modèle de codage compétitif. 🧵

Après l'IMO, nous avons effectué des évaluations complètes sur le modèle en or de l'IMO et avons constaté qu'en plus des mathématiques compétitives, c'était également notre meilleur modèle dans de nombreux autres domaines, y compris le codage. Donc, les gens ont décidé de prendre le même modèle en or de l'IMO, sans aucune modification, et de l'utiliser dans le système pour l'IOI.

L'échafaudage IOI impliquait de prélever des échantillons de quelques modèles différents, puis d'utiliser un autre modèle et une heuristique pour sélectionner des solutions à soumettre. Ce système a obtenu une médaille d'or, se classant 6ème parmi les humains. Le modèle d'or de l'IMO a en effet obtenu les meilleurs résultats parmi tous les modèles dont nous avons prélevé des échantillons.

Pour être clair, ce système a utilisé un échafaudage, bien qu'un échafaudage plus léger que l'année dernière. Il a seulement décidé quels échantillons de modèles à usage général soumettre. Je suis optimiste que l'année prochaine, nous aurons confiance que le modèle lui-même peut faire mieux que n'importe quel échafaudage que nous pourrions concevoir.

Je n'ai pas participé à ce travail. Un grand bravo à @sherylhsu02, @alexwei_, @bminaiev et oleg murk, ainsi qu'à @_lorenzkuhn, @MostafaRohani, @clavera_i, @andresnds, @ahelkky, et à beaucoup d'autres pour ce résultat !