benchmarks.wiki / Public workspace
..··::::-----::::···... ..··:::--------:::···...···::--==++++==-::······:--==+++==-:··.
..···:::-------::::···... ..···::::::::::···.... ...···::::::···.......·:-=+++++==-:·..
....···············...... ......····-··..... . ......... ..:--=++**++==-:·..
..·:--=+*****+=-:··..
.··:-=++*####*+=-:·..
.··:-=+*##%%#*+=-:·..
..··:-=+*#%%%#*+=-:·.
.....··:--+*#%%@%#*+=:·.
.......··:-=+*#%@%#*+=-:.
.......... .....············.....:...·········... ..···..···:-=+*#%%#*+=-:·.
..··::::::···... ...··::----====----:::·····:::---====--:··. ....···········::-=+*##**+=-:·.
..·:--=+++==--::··... ...··::--==++*****++==--:::·:::--=++*****+=-:·. ..··::::::······::-==++++==-:·.
..··::--==++*******++==--:··.. ...···········.....··:-=*#%@@@@@@@%#*+=-------=====--:··.
...··::--===+++****+++===--::··.... ....··········.........··:--=++***++==-::······--===---:··.
.....·····::::::::::::::····...... .......:...... ·:.···:::····......··:--------:··..
..··::--------::·..
..··::::---==---::·..
..·.·::::--======-:··..
...·.···::---==+++=--:··.
...··.····::--==++*++=-:··.
..···:····:::-==+***++=-:·.
...··········..... .....·········.....-·····::::···... ....··::·····::--=++***++=-:·.
.··:-==+++++===---::···...... ......···::---=====----:::::---==+++++==-:·. ....···:·······::--=+***++=-:·.
.··:-=+*#######***++==---:::········::--==+**######**++======++*#%%%%%#*+-:·. ..·············::--=++++==-:·.
....···::--==+*##%@@@@@@@@@@@%##*+=-::··... ......... ..·:-+*%@@@@@@@@@%*+=---:----======--:··..
.....····::---==+++********+++==-::···... .......... .··:=+*********+=--::·····--===---:··..
.......··················...... .·. ..-=::::::::::··.....··--------::·..
..··-------:::··..
..:·-------::::··..
·.::----------:::··..
···-:=------------::··...
···--:=---------====--::·..
··=--+=--------===++==--:·.
..···:::::::::::::····...... ...................:.····::::···.. .....····--+==---::----==+++==--:·.
..·::-===+++++++++====--:::···········:::------:::······::-==+++*++=-::·.. ...··::::::=---:::::::--======--:·.
..··::----======+++++=====----:::::---==++******++=------==+*#%@@@@%#*+-:·. ..··::::-::::::····:::-------:··.
.. ...··:--=+**#%%%@@%%%##*++=--::··········.... .·:=+#%@@@@@%#*=-:··.....··::--=====--:::·..
...··:::---=======--:::···.............. .·:-=+******+=--:··......·::-------::··..
................... . ..·=+::::::::··...... ··:::----:::··..
..··-------::::··.
·.::=--------:::··..
··--++=====------:··...
::·==**+++========--::··..
:::++=#**+++======+==--::·.
::*++%#**++==========---:·..
...·····::::::::::::·····............ . ...······... ....·······+=##*++==-----------:::·..
...···::---===++++====---:::::::::::···... ..··:--=====-::··........··::-------+++==--:::····:······..
...··::--==++++++++==============--::·.. ..·:-=*##%%%#**+=-:··...···:::---===---:::···.............
.··:-=++**###***+++===========--:··......·:-=+*##%##*+=-·. ..·:::----:::·..
...··::--------::::::::::::::···.. ..··:-==++===-:··.. ..··::::::::··.
.........................·. ...-=·······.... ..···::::::::::·..
..··:------------:··..
··--+++++++++++===-:··..
··==##*********+++=-::·..
:::++%%###*****++++=--:··.
:::**+%%##**+++====--:::··.
::+++%%#**++=---:::····...
...···:::::::::::::····...... . ........... ....······==##**+==-::···....
..··:-==+********+++==---:::··.. .·::------::···........···:::-----+++==-::··...
..·:-=+*#%%@@@@@%%##***++==-::·. .·:-=+******++=--::::::::----========--:::··....
..·······. .·:-=++***########%%%%##**+=--:::::--=+*##%%%#**=-:·. ..···::::::·...
..···:::::··.. ..·:::----======++++++==--:··......··::--=====--::··.. ...··::------::·..
...········.... .......·········::····-... ....--······..... ..··::--===+++++=-:··.
..::-===+++****##*+=-::·.
··--********#####*+=-::·.
··==###*******+++==-::·..
···==##***++===---:··...
···===***++==-::··...
··---***++==-::··..
..··::::::::::::····...... .:.·········.... ......·--****++==--::··..
.··:-=+**********++==--::··... .··:--=====---:::···········:::----=*##****++==--::··...
...... .·:-+*%@@@@@@@@@@@@%#**+=--:·. .·:-=+**####***+++=======+++***##########****++++=-::··..
.·:-=++**#*+=:·. .·:-=++*****#########**+=--:::·:::-=+**#%@@@@%%#*+=-::·.. ..··:--==+*++=--:·.
.··:-==+++==-::·. ..·::---=====+++++++==--::··.....··::--=========--::···.......···::-==++*###*+=-:·.
...···::::····.. .....······::::::::··-.... ....:-·······..........··::--===++**###*+=-:·.
..··---=====++++++=--:··.
..::-------------::··..
..··------::::···..
...::===----::···..
...::-++++++===-::··.
..--=##%%%%%###*++=-:·..
..···::::::···...... ....·=·::::::::::····..:............···++@@@@@@@@@@@@@%%*+=-:·.
.... .·:-==+*****++=---:::····..... ...··::-==++*****+++====---------===+++**@@@@@@@@@@@@@@@%#*=-:·.
..······. .·:-+*#@@@@@@@@%#**++===--:··.. ..·::-=+**##%%%%%%%%########%%%%%@@@@@@@@@@@@@@@@@@@%#*+=-:.
.·-=+*#%@@%#*+-:. .·:-=+******+++====---::··.. .··:-=+*#%%@@@@@%%##*+==--::·······:::-==++***+==-:·.
..·:--=+***++=-:·. ..·::---------------:::··... ...··::---====----:::···....·······::---===--::·.
...··::::::··... ......··············..·. .·........... ..........·········...
..............
.............
..:::-------:::·..
...::+**#######**+=-:·..
..·==+@@@@@@@@@@@@@%#+-:·.
··++*@@@@@@@@@@@@@@%#*+=-·.
....····.... .....··+:::::::::::::::::+··············:+*@@@@@@@@@@@@@@@%#*+=-:·.
..····.. ..·::-----::··.......................···::--==++++***++++++=================%%%%@@@@@@@@@@@%#*+=-:·.
.·::----:·. .·:-=++**++==--::::::::······............··::---====+++++++++++++++++++++===================--::·.
.·:=+#%@@@%#*+=:·. ..·-=+#%@@@@%%#*++=--:::··.. .·::-==+++++++===-::··.. ........
..·:-=****++=-:·.. .··:-========---::::·····... .............
..··::::::··.. ...·········............. .
..........
..::--=========-:·..
..:-**#%%@@@@@@@@#*=-:·.
···=+@@@@@@@@@@@@@%#*+=-·.
···=++@@@@@@@@@@@@@%#*+=-:·.
··--=#%%@@@@@@@@@@@%#*+=-:·.
.... .......... ...:.······:::::::···=···............::===+++**##%%@@@%#*+=-:·.
.··:::··.. ..··:::::::··.. ...... .......······:::::::···········......···::::::::----==+++==-::·.
.·:-=++=-:·. ..·::--=---::··........············......... ........···········...........·······..
.·:-=*#%%#*+=-:·····::-+*%@@@@@@@@@@%#*+==--:::··.. .........
.·:-=++++==-:··.....·::-=++******++==---::::·····...
..···:::···... ....···::::::······.............·. ..............
..··---====+++===-:·..
..::+**##%%@@@@@@#*+-:·.
..--**#%@@@@@@@@@%#*+=-·.
...::++*#%@@@@@@@@%#*+=-:·.
···--==+*#%@@@@@%#*+=-:·.
...···::--=+*#%@@%#*+=-:·.
....·······..... . ..........· ......····::--=+****+=-:·.
.······... ...··:-------::···............................................. ...............············::------::·.
.·:-===--:·.....··:-===+===--::··········:::---------------:::::····...............···:::---------:::···....········.
.·:=+***+=-:··....·:-=+*#%@@@@@@%%#**+++=======---:::··.. ....·············....
..·:-==---:··......··:--=++****+++===-----:::::::::::······............····················:::::····..
..·······.... ....····:::::·······.............-.......·········--······...........::-========---:·..
..::====++*******+-:·..
..··:--==+**#%%%%#*+=:·.
..··::-==+*#%@@%#*+=:·.
....·:--=*#%@%#*+=-:·
..·::=+*###*+=-:·.
.. . ...·:-=++**+=-:·.
...·············............................·.................·...............······.......··:-=====-:·.
... .··:--=======----::::::::::::::::-----------------------:::::::······:::::::::::==---::·······:::---::·.
..·::··.. .··:-=++*****++===---::::----===++***##%%%@@@@@@@@@%%##**++==----------==+++***###**++==-::······:::··..
.·:-=+***+=-:·. ..··:-==++++++++==========++++++++++++====------------------============++=====--::·..
.··:-==--:··.. ...··::----------::::::::::::::::::::::::::::-----------------::::::::::========--::·.
...·····... ......········.................·...........·····==········.........··----=======--:·.
..···::--===++==-:·.
....·::-==+++=-:·.
.··:-=++==-:·.
.·:-====--:·.
.. . ..·:--=--:·.
..····.. .·::---:·.
...········································+····::::·········=···············-:=-::·.. ..··::::·.
.··:--==========------::::::::------====+++++*********+++====------------======**+=-::·.. ..···:··.
.··:-=++******+++==---:::::··:::::---=++**##%%@@@@@@@%%%#**++==-------==++**##%%%##*+=-:··......·····.
.·:=+*#%%#*=-:·. ...···:::::::::::::::::::----------------::::::-------------------===+++*******++=-:·.
.··:-=+++=-::·.. ....·················.......................······:::::::···········-==++****++=-:·.
...··:····... ................ ··............. ..:::--==+++++=-:·.
...··::-===+=-:·..
..·:--===-:·..
..·:----::·.
.. . .·:::::·..
··.··.. .··:::··.
··--:-·. .·····..
.....···················................··-·······:::::·····=··········:::··==*+-:·. ..··...
..··::-----==------::::····............···:::---====+++======--------====+++++#*+=-:. ......
.··:--=+++++++++==--:··... ..··:--==++*******+++===----==++**#%%%%%#*+=:·. ...
.:-=+*#%@%*+=-:··.. ............···········........... .......·············::--=+*#%%@@@@@%#*=:·..
..·:-==+*++=-::·... .......···········...... ..................··-=+*#%%@@@%%#+-:·.
...···:::···.... .................. .. ....... ..·:-=+*##%%%%#+=:·.
...··:--=+*####*=-:·.
. ....··:-=+*##*+-:·.
. . . ..·:-=+*+=-:·..
...·.. ..·:-===-:··.
···:···. ..·:---:··.
:·=---:·. .··:::··.
........···········........ .......···········=········:::::::++#+=:·. ..···..
...···:::-----==-----:::··... ...··:::---=========---====+++****+%#+=:·. .....
...·::-==++*******++==--:··.. ..··:--=++***##****+++++***#%%@@@@@%#*=:·. ..
.·:-=+**#**++=--::···..............······:::::::-::::::····... .................··:-=*#%@@@@@@@%#+=:··..
.··:-==++==---::··.... .....····::::------::::···... ........ ...·-=+#%@@@@@@@%*+-:·..
..···:::·····.... .....·············.:... ..:-=+#%@@@@@@@%*=:·..
..··:-+*%@@@@@@%#+-:·.
...··:-=*#%@@@@%#+=:·.
.....·:-=+#%@@@%#*=-·..
.........··:-+*#%@%#*=-:·.
··.:·.·.....·:-=+*##*+=-:·.
··--:-:·......·:-=++++=-:·.
........················...... . ......········-......·········==+=-:·.. ..·:-==--::·.
......... ....···::---==========---::··.... ...··::---=====---------===++++++#*=-:·. ..·:::::·..
...····... ..··:--=++*********++==--:··... ...·:--=+**#####***++++**##%@@@@@%#*+-:·. ..·····..
..·:--=====----:::···..... ....···::---=========--:::··...........········.... ..··:-+*##%%%##*+=-:·....
..·::-------::::···... ...···::----------:::··... ......... ...:=+*#%@@@%%#*=-:·...
...··········..... .....·········=··.... ..:-=+*%@@@@@%#*=-:·..
.·:-=+#%@@@@@@#+=-:·.
.·:-=*#%@@@@@%#+=:·..
..·:-+*#@@@@@%#*=-:·.
. ..··:-+*#@@@@%#*+=:·.
.. ......··:-=*#%@@%#*+=-·.
..·····...··:-=*#%@%#*+=-:.
........ ......···············........ ·........····.....· .......::-:···.···:-=+*###*+=-:.
..·······... ..···::----=====----::···.........··:::-------::···....···:::---:=-::······::-=++++==-·.
..··:::::··.. ..··::--==+++++++===--:··........··:--=+*****++=--::::::-==+++*++==-:·······:--===--:·.
██████╗ ██╗ ██████╗ ██████╗ ██████╗ ██╗ ██╗ ██╗██████╗ ██╗███████╗
██╔═══██╗███║ ╚════██╗██╔═████╗╚════██╗██║ ██║ ███║╚════██╗ ███║╚════██║
██║ ██║╚██║█████╗ █████╔╝██║██╔██║ █████╔╝███████║█████╗╚██║ █████╔╝█████╗╚██║ ██╔╝
██║ ██║ ██║╚════╝██╔═══╝ ████╔╝██║██╔═══╝ ╚════██║╚════╝ ██║██╔═══╝ ╚════╝ ██║ ██╔╝
╚██████╔╝ ██║ ███████╗╚██████╔╝███████╗ ██║ ██║███████╗ ██║ ██║
╚═════╝ ╚═╝ ╚══════╝ ╚═════╝ ╚══════╝ ╚═╝ ╚═╝╚══════╝ ╚═╝ ╚═╝ $ open /models/o1-2024-12-17▌ready
o1-2024-12-17
These are quotations of published scores, not measurements made here. Evaluation conditions differ by row, so this is not a ranking. Different metrics must not be combined.
| Benchmark | Score | Metric | Setup | Reported by | Source |
|---|---|---|---|---|---|
| BrowseCompo1-2024-12-17 | 9.9 | Accuracy (%) | Without browsing; medium reasoning effort. | PaperReported: Not stated | Table 3; Section 4.1 model identifiersChecked: 2026-09-16 |