benchmarks.wiki / Public workspace
.·::--=+********++===--------::··.. ..·:=+**#####*+==-::······:::------------------::::······::--==++**++=-:··.
...···::---------:::··········... ..·::--=====---::························::::::···:::::::--==+**##*+=-::·.
................... ....·········.......... ...........::--::::--==+**##%#*+=-:·.
··--==------==+*##%%#*+=-:·.
··=-+==-----==+*#%%%#*+=-:·.
:·==*+=------=+*#%%@%#+=-:·.
::+=*+=--::--=+*##%%%#+=-:·.
::+=*+=-::::--=+*#%%%*+=-:·.
::+=*+=-:::::-=+*##%#*+=-·..
..··:::::::::··. ..··::::::··.........·······==*=-::···::-=+*#%#*+=:·..
... ..... .··:-+*********=-·. .·-=********+=-:··..···:--==+===+=-:·····:-=+*###*+-:·.
..... ...·······...··::-+*#@@@@@@@@@#+-·. ·-+#@@@@@@@@@%*=-:··.··:-=+*####*+=-:··..··:-=+*#*+=-:·.
.·:-=++*##**++=======++++++==-:·... ...·:=+#%@@@@@@%*+=:·.. ..·::-==++++++++++===--:::·················:·····...
.··::--===---:::::::::---:::··... ...·:--=+++++==-::·... ....···:::::::::::::::·····..·······:::::::::::····..
....······................. ....········..... .......................·.······:::-------:::···..
..·······:::---=====-:::··..
..··::··:::--========-::··..
..:·:::::::--==+++++=--:··..
·.::-:::::--==+++*+++=-::·..
··::-:::::--=++*****+=-::·..
··-:-:::::--=++*****+=--:·..
..···::::::::··. ..··:::::::···........·········-:--::::--=++*####*+=-:·..
...... ...·::-=+*******+=-·. ·:-+********+=-::····::--==++==--:-:::::--=++*####*+=-:·..
.......·····:::-=+*#%@@@@@@@#*=-·. .·=*%@@@@@@@@@@#+=-::::--=+*#%%##*+=-::::::-==+*####*+=-:·.
.··:------:····::--=++*++==-:·.....·:-=*#@@@@@@@@#+=:. .·:-=+*#%%%%%##**+==--:::······..... ..·····..
..··::::····.····::------::··......·::-=+++*++==-:·.. ..·::--========---::···.............. ...···...
..................·····..... .....········... .....········........ ......... ...····..
.................····..
................·····...
.....·····....········..
......··················..
.....····::::::::::::···..
....····::::::-----:::··..
....... ....···::::::··.. ..··::::::···................... ..·····::------===---::·..
......·...............··::--==++**++=--:·. .·-=+*******+=-::······:::----::···..····::---====+++==-::·..
.......··..·······:::--==++**##%%###*+=-:. ·:=*%@@@@@@@@@%*+--::::--=++++++=--::····:::-==++++***+=-::·..
...... ..·:-=++++=--:·....··:=+#@@@@@@@@#*=:. ·:=+#%@@@@@@@@%#*++=---::::::::··.. .·:----:·..
..... ..··::------::···.···::-==+++++=-::·. ..·:-=++******++=--::···.........·... .·::---:·..
....·······............······... ...·····::::·····..... ..... ..·::-::·.
... .·:::::·.
.. .·::::··.
.··:::··.
..··:::··..
.··::::··..
... ...··::::::··.
.......... ......·········... ..····::····.... ..........···:-----:··.
..·········.........···:::---=====--::·.. .·:-=++***++=--:··.............. .....·····:::--===--::·.
..····:::::····::::---====+++++++++==-::·. .·-=*%@@@@@@@%*+=-:········:::···... ....···:::---==+++==-::·.
.·:==++++==-:··...·:-=+#%@@@@@@#*=:. .:-+#@@@@@@@@@@@#*++==---====+==--:·. .:-+*###*=-:..
..·::------::·······::--======-:··. .·:-=+*********++=-::········::::····. .·-=*##*+=-:.
...········................... ...···::::::::::···.... .....···.. .·:=+***+=-·.
..·. .·:-+***+=:·.
.... .·-=+++=-:·.
.... .·:-=+==-:·.
. . .·:-====-:·.
. .·:-===--:·..
.·:-====-:··.
............ .................. ...·········..... ..·::-=+==--:·.
..···::::····.......·····::::------:::··... ..··:--==+===--:···...... ...··:-==++++=-:·.
.··:::::::::·::::::-------==========--::·... ...·:-=+*#%%%%#*+=-:··....... ......···::--=+****+=-:·.
.·:-=+*****+=-:··....·:-=+#%%@@%#*+-:. .·:=*%@@@@@@@@@@%*+==---==++****+=-:·. .·:=*#@@@%#*=:·.
..·::--===--::····.····::------::·.. .··:-+**********+=--::····:::-----::·.. .·-=*%@@@%#*=-·.
...·········.................. ...··:::::::::::···............·....·.. .·-=*%@@@%#*=-·.
..·.. .·-=*%@@@%#*=-·.
..·.. .·:=+#%@@%#*=:·.
..... .·:-+*%@@%#+=:·.
..... ..:-=*#%%#*+-:·.
... .·:=+*###*=-:·.
... ..·:-=+*#*+=-:·.
......... ..........................············.......... ... ..·:-=+*#*++-:·..
..·······............····::::------::::········:::--======---::::·····... ............··:-=+**##*+=-:·.
.··:::···········:::::----===++++++===-:::···::--=++**##**++==--::::···.. ..........···:--=+*####*+-:·..
..·:=+*#####*+=-:·.. ..·:-=+*#%%%#*+=:·. .·:=*#@@@@@@@@%*+-::···::-=+++++=-·. .:-+*%@@@@%*+-:·..
..·::--====--::··......···::----:::··.. ..·:-=+********+=-:··...···::----:··. ·:=*%@@@@@%#+=:·..
...········..... ......... ...···:::::::::···... .....··.... .·-+#@@@@@@%#*=:·.
.:=*%@@@@@@%#*=:·.
.·:=*%@@@@@@%#+-·.
. . ..·-=*%@@@@@@%#=:·.
. ... ..·:=*#@@@@@@%*=:.
. .......·:-+*#%@@@@#+-:.
.........·:-=+*#%%%#*=-:·.
.. ....................··························... ..........·...··::-=+*####*=-:·..
........ ....····:::-----------::::::----==================--::··. ...·······..······:--=+***#*+=-:·..
....... ....··:::---===++********++========++**#####**********++==-:·. .··:::::::::··:::--=++*****+=-:·..
..·:-=*#%%%##+=-:·. .·:-=*#%%%%%#*=-:.. .:-=*#%@@@%#*=-·.. .··:----:·. ·:=+*#%@@%%*+=-:·..
..··:-------::··... ...··::-------::·.. .·:-==+**++=-:··. ..··::··.. .:-+#@@@@@@@%*+-:·.
....·····...... ............ ..···:::::··... ....... ·-+#@@@@@@@@%#+-·.
.:=*@@@@@@@@@%*=:.
.:-+%@@@@@@@@@%+-·
..·:=*%@@@@@@@@@*=·.
...·:-+*%@@@@@@@@#+:.
. ..·::-=*#%@@@@@%#+-·.
..··:::-=++*##%##*+=-·..
...................·····················::::::···... ....····....··::::--=+++**++==-:·..
...···::::-----------------==========---====+++++++=-:··. ..··::-----:::··:::::---===++===-:··..
..·::--===+++***********+++++****######******##%%%@@%##+=-:·. ..·:-=++++++==---::::----=======-:··..
.··:-+*###*+=-:·. .·:-+*%@@@@@@%*+-:.. .·:=+*####*=-:. ..·:::::·. .:-+*#%%%%%##+=-:·..
..··:::::::··.... ..··::-==++++==-:·.. .·:--====-::·. ..····.. .·-+#%@@@@@@@%*=-·..
............. .....······.... ...······... .. ·-+#@@@@@@@@@@*=:.
·:+#@@@@@@@@@@%+:.
·:=*@@@@@@@@@@@*-·
.:=*%@@@@@@@@@@*=·
.·-+*%@@@@@@@@%*=:.
..·:=+*#%@@@@@%#+=:.
..::==++******+=-:·..
.........................·····............····:····.. ..··········..::-------=----:::··....
...··::::-----::::::::::::---------:::····::--=+++++=-:··. .·::-==++++==--::·:::::::::::::::::···...
..·::-==++++****+++++=====++++******++==----==+*#%%@@%#*+-:·. .·:-=*#%%@%%##*+=-::········::::---:::··...
.·::--===-:·.. ..:-=*%@@@@@@@@%*+-·. ..·-=+*###*+=-:·. ..·:--==--:·. .·-=+*#%%%%##*+=-:·..
.....····...........··:--=+******+=-:·. .·:--===--:·.. ..···:···. ·:=+#%@@@@@@%#*=:·.
..................··········.. ..·····... ..... :-+#@@@@@@@@@#+-·.
.-+#@@@@@@@@@@*=:.
.·+#@@@@@@@@@@#=:.
·:*%@@@@@@@@@#=:.
..:-#%@@@@@@@%*=:.
..--*##%%%##*=-:.
..::=======--:··..
....·····..... ......... ...·····.. ..··::::::····..··::···················...
..·:::-------::···......····::::···.. ..·::-===--:·. .·:-=+******+=-::·..... ....···::-----::··..
.·:-==++****+++=--:::···:::--====--:··.. .··-=+*###*+=-:·. ..:-+*%@@@@@@@%#+=:·.. ..·::-===+==--:··.
...······... ..·:-=*#@@@@@@@@@@#+=:·. .·:-=*#%%%%#*+=-::···:--=++***++=-:··.. ..·:-=+*##%%##*+=-:··.
......········::--=+********+=-·.. .·:-==++==--:··.....··:::----::·.. .··=*#%@@@@%#*+-:·.
...............····::::::···.. ..·······... .......... ·:+#@@@@@@@%#+-·.
:-#@@@@@@@@%*=:.
.:=%@@@@@@@@#+:.
..-=@@@@@@@%#+-·
..-=%%@@%%#+=:·.
..--+++++=--:·. ...
..··::::······.........···..
..·········... ..... ....·.... ..···:::::::··... . ...···::::---::::··.
..·:-=======-::·.. ...·····.. .·::---::·.. ..·-=+*******+=-:·. ..·:--=+++*+==-::·.
..·:-=**###**+=-::·.. ..··:::::·. .·:-++**+=-:·. .·:=*%@@@@@@@@%*=:·. .·:-=+*#####*+=-:·.
....······.···::-=*#@@@@@@@@@%#+-:·.....·:-+*#####*++=------==++**##***++=--::::::::--=++******+=-:·.. .....
..····:·····:::-==+********+=-··. ..·::-======--::·····:::--====---::···.......··::-*#####*+=-:·. ....
..·······.....····::::::::··.. ..········............·······.... ..--#%%@@%#*+-:. ...
..-=%@@@@@%*=-·. ..
..==@@@@@%#+=:. ...
.·==%@@%%#+=:·. ...
..--****+=-:·. ...·..
..··-----::··... ..····..
....················::::··.
..···:::::··... ........ ...····... ..··:::::::···.. ..·::--======----::··.
..·:-=+***++=-:·.. ..··:::··. .··:-----:··. .·:-=+*******+=:·. .·:-=+***#***+==--:··.
.·:-+*#@@@%#*+-:·. .··:---::·. .·-=+***+=-:·. .·-=*%@@@@@@@@#+-· .·:-+*#%@@@@%%#+=--:·..
..··:::::::·:::-=+*#%@@@@@@#*=-·. .··:-------:::::::---==++*******++++============++++===-:··. ..··:::··.
..··::::::···:::-==+*****+=-:·.. ..··::::::::·······:::---======----:::········::::-+++==-::·.. ..··:::··.
...······......····::::::··.. ....................···········..... ....--****+=-:·.. ..··::··.
..-=####*+=-:·. ..·····.
.·==%%%#*+=-·. ..·····.
..-=###**=-:·. ..·····.
..:-++++==-:·.. ..··::··.
.··-------::··......··:::··.
.··::-----:::·····::::::·.
...···::::··... ....·····... ..········... ...··::::::··.. .·::-==++===-----::::::·.
..·:-==+****=-:··.....··:-----::·. .·:-===+==-:··. ..·:-+******+=-:·. .·:-=+*###**++===---:::·.
.·-=+*#%@@@%#+-:·....··:-=++++=-:·. .:-=*#####*=-:·. .·:=+#%@@@@@@#*=:. .·-=*#%@@@%%#**+==--::··.
.··:-----::::::-==+*###**+=:·. ..........··::---===+++++++***++++++=====-------:::··... ..·:-=+++=-:·.
..··:::::·······::--====--:·.. ...........···:::----=======---:::············::---::···....··:-=+++=-:·.
...···...........·······.. .......·············.... ...::+++==-::··..··:--====-:·.
..--****+=-:··...··:--==--:·.
.·==###*+=-:··.....·::----:·.
.·==###*+=-:·... ..··::--::·.
..--****+=-:·... ...·::--:··.
..::+++++=-::·.....··:::::··.
··==+++==-::·....··:::::··.
...···::··.... .....······... ..··::::::···.. ...···:::···.. .·-=+++++=--:······:::::··.
.··:-==+**+=::··..··::--==--::·. ..·:-=+****++=:·.. ..·:=++****+=-:·. .·-=+*****+=-::··:::::::··.
.·:-=+*#%@@%*=-:····:-=+****+=-:·. .·:=+#%@@@@%#*=-·. .·:=+#%@@@@@#*=:·. .·:-+*#%%##*+=--:::::::::··.
.·::-----::::::-===++==-:··. ..··::---=========+++++++++===-----::::::::····....···:-=*###*+=-:·.
.········....···::::::··.. ..···:::---------------:::···......·······--::::···::-=+*#%#*+=-:·.
........ .......... ......·············..... ....:-++==--:::::-==*###*+=-:·.
··==##*++=-:::::-=+****+=-:·
··++%%#*+=-::··::-=+++++=-:.
··++@%#*+=-:·····:-==++==-·.
··++%%#*+=-:·....·:--===-:·.
··==###*+=:··.....·:--=--:·.
..-=##*++=:··.....·::----:·.
...····.. .......... ..··:::::::::·.. ...········... ..--***++=-:·.. ...·::--::·.
.··:-===-:··.....··:::::::··. ..·:=+*******+=-:·. .·-=++***+==:··. .··:-****+=-:·.. ..·::--::·.
.·:-=+*##*=-:··.··::-=++++=-:··.. ..·:-+*%@@@@@@@%*=:· ·:=*%@@@@@@#*=:·. .·:=+*****+=:··.....··:::::·.
.·:::-------===+++===-::··...... .·:--==++++====-------======------::::::::::::·······::--=+*#%%#*+=-:.
...··········:::::::···... ..··:::---------:::::::::·····.......·····:::·--::::::--=+*#%@%#*+=-:.
. .......... ....·············...... .......--+==------==+*#%@%#*+=-:.
··==**+==-----=+*#%@%#*+=-·.
::++%#*+=------=+*#%%#*+=-·.
::*+%#*+=--:::--=+*###*+=:·.
::*+%#*+=-::··::-=*##**+-:·.
::++%#*+-::····::=+***+=-:·.
··++#*+=-:··...·:-=++++=-:·.
.... ..·::::::::::·.. ..···:::···.... ....···==#*+=-:·.....·:-=++==-:..
.······.. ...····... ..·:=+*********=-·. .·:=+******+=-:·... ...·::--==**+=:··. ..··-====-:·..
.·::--::·.. ..··:::::::··.....·:-=+#@@@@@@@@@#+-·. .:=*%@@@@@@@%*=-·.. ..·:-++***++=:·.. ..·:-===-:·.
██████╗ ███████╗███╗ ██╗ ██████╗██╗ ██╗███╗ ███╗ █████╗ ██████╗ ██╗ ██╗███████╗
██╔══██╗██╔════╝████╗ ██║██╔════╝██║ ██║████╗ ████║██╔══██╗██╔══██╗██║ ██╔╝██╔════╝
██████╔╝█████╗ ██╔██╗ ██║██║ ███████║██╔████╔██║███████║██████╔╝█████╔╝ ███████╗
██╔══██╗██╔══╝ ██║╚██╗██║██║ ██╔══██║██║╚██╔╝██║██╔══██║██╔══██╗██╔═██╗ ╚════██║
██████╔╝███████╗██║ ╚████║╚██████╗██║ ██║██║ ╚═╝ ██║██║ ██║██║ ██║██║ ██╗███████║
╚═════╝ ╚══════╝╚═╝ ╚═══╝ ╚═════╝╚═╝ ╚═╝╚═╝ ╚═╝╚═╝ ╚═╝╚═╝ ╚═╝╚═╝ ╚═╝╚══════╝Compare the whole catalogue · Browse model reports
Choose a field to explore public problems and discussions.
Fields and counts refer to this catalog page.
Agents / Multimodal
gaia
GAIA evaluates general AI assistants on tasks involving information gathering and tool use. Some tasks include attachments; this catalog provides an introduction in view of access and resharing restrictions.
Paper: arXiv:2311.12983
Reasoning / Multimodal
hle
Humanity's Last Exam evaluates AI knowledge and reasoning across academic disciplines. It includes text and image questions; this catalog provides an introduction and official links in accordance with the publisher's req…
Mathematics / Multimodal
mathvista
MathVista gathers 6,141 mathematical problems that come with figures, charts or geometric diagrams, of which 1,000 form the public testmini split. It measures whether visual information can be carried into mathematical r…
Paper: arXiv:2310.02255
Multimodal
mmmu
MMMU collects 11,500 college-level questions across six disciplines and thirty subjects, each carrying figures, diagrams or images that have to be read as well as reasoned over. MMMU-Pro is its tightened revision.
Paper: arXiv:2311.16502
Multimodal
mmmu-pro
MMMU-Pro evaluates multimodal understanding across academic disciplines using images and text. The official card lists 1,730 questions per setting, separating four-option and ten-option standard settings from the vision …
Paper: arXiv:2409.02813
Mathematics / Science / Multimodal
olympiadbench
OlympiadBench evaluates scientific reasoning on Olympiad-level mathematics and physics problems. Its official description lists 8,476 English and Chinese problems with separate text-only and multimodal settings.
Repository: Official repository