benchmarks.wiki / Public workspace
.·::--=+********++===--------::··.. ..·:=+**#####*+==-::······:::------------------::::······::--==++**++=-:··.
...···::---------:::··········... ..·::--=====---::························::::::···:::::::--==+**##*+=-::·.
................... ....·········.......... ...........::--::::--==+**##%#*+=-:·.
··--==------==+*##%%#*+=-:·.
··=-+==-----==+*#%%%#*+=-:·.
:·==*+=------=+*#%%@%#+=-:·.
::+=*+=--::--=+*##%%%#+=-:·.
::+=*+=-::::--=+*#%%%*+=-:·.
::+=*+=-:::::-=+*##%#*+=-·..
..··:::::::::··. ..··::::::··.........·······==*=-::···::-=+*#%#*+=:·..
... ..... .··:-+*********=-·. .·-=********+=-:··..···:--==+===+=-:·····:-=+*###*+-:·.
..... ...·······...··::-+*#@@@@@@@@@#+-·. ·-+#@@@@@@@@@%*=-:··.··:-=+*####*+=-:··..··:-=+*#*+=-:·.
.·:-=++*##**++=======++++++==-:·... ...·:=+#%@@@@@@%*+=:·.. ..·::-==++++++++++===--:::·················:·····...
.··::--===---:::::::::---:::··... ...·:--=+++++==-::·... ....···:::::::::::::::·····..·······:::::::::::····..
....······................. ....········..... .......................·.······:::-------:::···..
..·······:::---=====-:::··..
..··::··:::--========-::··..
..:·:::::::--==+++++=--:··..
·.::-:::::--==+++*+++=-::·..
··::-:::::--=++*****+=-::·..
··-:-:::::--=++*****+=--:·..
..···::::::::··. ..··:::::::···........·········-:--::::--=++*####*+=-:·..
...... ...·::-=+*******+=-·. ·:-+********+=-::····::--==++==--:-:::::--=++*####*+=-:·..
.......·····:::-=+*#%@@@@@@@#*=-·. .·=*%@@@@@@@@@@#+=-::::--=+*#%%##*+=-::::::-==+*####*+=-:·.
.··:------:····::--=++*++==-:·.....·:-=*#@@@@@@@@#+=:. .·:-=+*#%%%%%##**+==--:::······..... ..·····..
..··::::····.····::------::··......·::-=+++*++==-:·.. ..·::--========---::···.............. ...···...
..................·····..... .....········... .....········........ ......... ...····..
.................····..
................·····...
.....·····....········..
......··················..
.....····::::::::::::···..
....····::::::-----:::··..
....... ....···::::::··.. ..··::::::···................... ..·····::------===---::·..
......·...............··::--==++**++=--:·. .·-=+*******+=-::······:::----::···..····::---====+++==-::·..
.......··..·······:::--==++**##%%###*+=-:. ·:=*%@@@@@@@@@%*+--::::--=++++++=--::····:::-==++++***+=-::·..
...... ..·:-=++++=--:·....··:=+#@@@@@@@@#*=:. ·:=+#%@@@@@@@@%#*++=---::::::::··.. .·:----:·..
..... ..··::------::···.···::-==+++++=-::·. ..·:-=++******++=--::···.........·... .·::---:·..
....·······............······... ...·····::::·····..... ..... ..·::-::·.
... .·:::::·.
.. .·::::··.
.··:::··.
..··:::··..
.··::::··..
... ...··::::::··.
.......... ......·········... ..····::····.... ..........···:-----:··.
..·········.........···:::---=====--::·.. .·:-=++***++=--:··.............. .....·····:::--===--::·.
..····:::::····::::---====+++++++++==-::·. .·-=*%@@@@@@@%*+=-:········:::···... ....···:::---==+++==-::·.
.·:==++++==-:··...·:-=+#%@@@@@@#*=:. .:-+#@@@@@@@@@@@#*++==---====+==--:·. .:-+*###*=-:..
..·::------::·······::--======-:··. .·:-=+*********++=-::········::::····. .·-=*##*+=-:.
...········................... ...···::::::::::···.... .....···.. .·:=+***+=-·.
..·. .·:-+***+=:·.
.... .·-=+++=-:·.
.... .·:-=+==-:·.
. . .·:-====-:·.
. .·:-===--:·..
.·:-====-:··.
............ .................. ...·········..... ..·::-=+==--:·.
..···::::····.......·····::::------:::··... ..··:--==+===--:···...... ...··:-==++++=-:·.
.··:::::::::·::::::-------==========--::·... ...·:-=+*#%%%%#*+=-:··....... ......···::--=+****+=-:·.
.·:-=+*****+=-:··....·:-=+#%%@@%#*+-:. .·:=*%@@@@@@@@@@%*+==---==++****+=-:·. .·:=*#@@@%#*=:·.
..·::--===--::····.····::------::·.. .··:-+**********+=--::····:::-----::·.. .·-=*%@@@%#*=-·.
...·········.................. ...··:::::::::::···............·....·.. .·-=*%@@@%#*=-·.
..·.. .·-=*%@@@%#*=-·.
..·.. .·:=+#%@@%#*=:·.
..... .·:-+*%@@%#+=:·.
..... ..:-=*#%%#*+-:·.
... .·:=+*###*=-:·.
... ..·:-=+*#*+=-:·.
......... ..........................············.......... ... ..·:-=+*#*++-:·..
..·······............····::::------::::········:::--======---::::·····... ............··:-=+**##*+=-:·.
.··:::···········:::::----===++++++===-:::···::--=++**##**++==--::::···.. ..........···:--=+*####*+-:·..
..·:=+*#####*+=-:·.. ..·:-=+*#%%%#*+=:·. .·:=*#@@@@@@@@%*+-::···::-=+++++=-·. .:-+*%@@@@%*+-:·..
..·::--====--::··......···::----:::··.. ..·:-=+********+=-:··...···::----:··. ·:=*%@@@@@%#+=:·..
...········..... ......... ...···:::::::::···... .....··.... .·-+#@@@@@@%#*=:·.
.:=*%@@@@@@%#*=:·.
.·:=*%@@@@@@%#+-·.
. . ..·-=*%@@@@@@%#=:·.
. ... ..·:=*#@@@@@@%*=:.
. .......·:-+*#%@@@@#+-:.
.........·:-=+*#%%%#*=-:·.
.. ....................··························... ..........·...··::-=+*####*=-:·..
........ ....····:::-----------::::::----==================--::··. ...·······..······:--=+***#*+=-:·..
....... ....··:::---===++********++========++**#####**********++==-:·. .··:::::::::··:::--=++*****+=-:·..
..·:-=*#%%%##+=-:·. .·:-=*#%%%%%#*=-:.. .:-=*#%@@@%#*=-·.. .··:----:·. ·:=+*#%@@%%*+=-:·..
..··:-------::··... ...··::-------::·.. .·:-==+**++=-:··. ..··::··.. .:-+#@@@@@@@%*+-:·.
....·····...... ............ ..···:::::··... ....... ·-+#@@@@@@@@%#+-·.
.:=*@@@@@@@@@%*=:.
.:-+%@@@@@@@@@%+-·
..·:=*%@@@@@@@@@*=·.
...·:-+*%@@@@@@@@#+:.
. ..·::-=*#%@@@@@%#+-·.
..··:::-=++*##%##*+=-·..
...................·····················::::::···... ....····....··::::--=+++**++==-:·..
...···::::-----------------==========---====+++++++=-:··. ..··::-----:::··:::::---===++===-:··..
..·::--===+++***********+++++****######******##%%%@@%##+=-:·. ..·:-=++++++==---::::----=======-:··..
.··:-+*###*+=-:·. .·:-+*%@@@@@@%*+-:.. .·:=+*####*=-:. ..·:::::·. .:-+*#%%%%%##+=-:·..
..··:::::::··.... ..··::-==++++==-:·.. .·:--====-::·. ..····.. .·-+#%@@@@@@@%*=-·..
............. .....······.... ...······... .. ·-+#@@@@@@@@@@*=:.
·:+#@@@@@@@@@@%+:.
·:=*@@@@@@@@@@@*-·
.:=*%@@@@@@@@@@*=·
.·-+*%@@@@@@@@%*=:.
..·:=+*#%@@@@@%#+=:.
..::==++******+=-:·..
.........................·····............····:····.. ..··········..::-------=----:::··....
...··::::-----::::::::::::---------:::····::--=+++++=-:··. .·::-==++++==--::·:::::::::::::::::···...
..·::-==++++****+++++=====++++******++==----==+*#%%@@%#*+-:·. .·:-=*#%%@%%##*+=-::········::::---:::··...
.·::--===-:·.. ..:-=*%@@@@@@@@%*+-·. ..·-=+*###*+=-:·. ..·:--==--:·. .·-=+*#%%%%##*+=-:·..
.....····...........··:--=+******+=-:·. .·:--===--:·.. ..···:···. ·:=+#%@@@@@@%#*=:·.
..................··········.. ..·····... ..... :-+#@@@@@@@@@#+-·.
.-+#@@@@@@@@@@*=:.
.·+#@@@@@@@@@@#=:.
·:*%@@@@@@@@@#=:.
..:-#%@@@@@@@%*=:.
..--*##%%%##*=-:.
..::=======--:··..
....·····..... ......... ...·····.. ..··::::::····..··::···················...
..·:::-------::···......····::::···.. ..·::-===--:·. .·:-=+******+=-::·..... ....···::-----::··..
.·:-==++****+++=--:::···:::--====--:··.. .··-=+*###*+=-:·. ..:-+*%@@@@@@@%#+=:·.. ..·::-===+==--:··.
...······... ..·:-=*#@@@@@@@@@@#+=:·. .·:-=*#%%%%#*+=-::···:--=++***++=-:··.. ..·:-=+*##%%##*+=-:··.
......········::--=+********+=-·.. .·:-==++==--:··.....··:::----::·.. .··=*#%@@@@%#*+-:·.
...............····::::::···.. ..·······... .......... ·:+#@@@@@@@%#+-·.
:-#@@@@@@@@%*=:.
.:=%@@@@@@@@#+:.
..-=@@@@@@@%#+-·
..-=%%@@%%#+=:·.
..--+++++=--:·. ...
..··::::······.........···..
..·········... ..... ....·.... ..···:::::::··... . ...···::::---::::··.
..·:-=======-::·.. ...·····.. .·::---::·.. ..·-=+*******+=-:·. ..·:--=+++*+==-::·.
..·:-=**###**+=-::·.. ..··:::::·. .·:-++**+=-:·. .·:=*%@@@@@@@@%*=:·. .·:-=+*#####*+=-:·.
....······.···::-=*#@@@@@@@@@%#+-:·.....·:-+*#####*++=------==++**##***++=--::::::::--=++******+=-:·.. .....
..····:·····:::-==+********+=-··. ..·::-======--::·····:::--====---::···.......··::-*#####*+=-:·. ....
..·······.....····::::::::··.. ..········............·······.... ..--#%%@@%#*+-:. ...
..-=%@@@@@%*=-·. ..
..==@@@@@%#+=:. ...
.·==%@@%%#+=:·. ...
..--****+=-:·. ...·..
..··-----::··... ..····..
....················::::··.
..···:::::··... ........ ...····... ..··:::::::···.. ..·::--======----::··.
..·:-=+***++=-:·.. ..··:::··. .··:-----:··. .·:-=+*******+=:·. .·:-=+***#***+==--:··.
.·:-+*#@@@%#*+-:·. .··:---::·. .·-=+***+=-:·. .·-=*%@@@@@@@@#+-· .·:-+*#%@@@@%%#+=--:·..
..··:::::::·:::-=+*#%@@@@@@#*=-·. .··:-------:::::::---==++*******++++============++++===-:··. ..··:::··.
..··::::::···:::-==+*****+=-:·.. ..··::::::::·······:::---======----:::········::::-+++==-::·.. ..··:::··.
...······......····::::::··.. ....................···········..... ....--****+=-:·.. ..··::··.
..-=####*+=-:·. ..·····.
.·==%%%#*+=-·. ..·····.
..-=###**=-:·. ..·····.
..:-++++==-:·.. ..··::··.
.··-------::··......··:::··.
.··::-----:::·····::::::·.
...···::::··... ....·····... ..········... ...··::::::··.. .·::-==++===-----::::::·.
..·:-==+****=-:··.....··:-----::·. .·:-===+==-:··. ..·:-+******+=-:·. .·:-=+*###**++===---:::·.
.·-=+*#%@@@%#+-:·....··:-=++++=-:·. .:-=*#####*=-:·. .·:=+#%@@@@@@#*=:. .·-=*#%@@@%%#**+==--::··.
.··:-----::::::-==+*###**+=:·. ..........··::---===+++++++***++++++=====-------:::··... ..·:-=+++=-:·.
..··:::::·······::--====--:·.. ...........···:::----=======---:::············::---::···....··:-=+++=-:·.
...···...........·······.. .......·············.... ...::+++==-::··..··:--====-:·.
..--****+=-:··...··:--==--:·.
.·==###*+=-:··.....·::----:·.
.·==###*+=-:·... ..··::--::·.
..--****+=-:·... ...·::--:··.
..::+++++=-::·.....··:::::··.
··==+++==-::·....··:::::··.
...···::··.... .....······... ..··::::::···.. ...···:::···.. .·-=+++++=--:······:::::··.
.··:-==+**+=::··..··::--==--::·. ..·:-=+****++=:·.. ..·:=++****+=-:·. .·-=+*****+=-::··:::::::··.
.·:-=+*#%@@%*=-:····:-=+****+=-:·. .·:=+#%@@@@%#*=-·. .·:=+#%@@@@@#*=:·. .·:-+*#%%##*+=--:::::::::··.
.·::-----::::::-===++==-:··. ..··::---=========+++++++++===-----::::::::····....···:-=*###*+=-:·.
.········....···::::::··.. ..···:::---------------:::···......·······--::::···::-=+*#%#*+=-:·.
........ .......... ......·············..... ....:-++==--:::::-==*###*+=-:·.
··==##*++=-:::::-=+****+=-:·
··++%%#*+=-::··::-=+++++=-:.
··++@%#*+=-:·····:-==++==-·.
··++%%#*+=-:·....·:--===-:·.
··==###*+=:··.....·:--=--:·.
..-=##*++=:··.....·::----:·.
...····.. .......... ..··:::::::::·.. ...········... ..--***++=-:·.. ...·::--::·.
.··:-===-:··.....··:::::::··. ..·:=+*******+=-:·. .·-=++***+==:··. .··:-****+=-:·.. ..·::--::·.
.·:-=+*##*=-:··.··::-=++++=-:··.. ..·:-+*%@@@@@@@%*=:· ·:=*%@@@@@@#*=:·. .·:=+*****+=:··.....··:::::·.
.·:::-------===+++===-::··...... .·:--==++++====-------======------::::::::::::·······::--=+*#%%#*+=-:.
...··········:::::::···... ..··:::---------:::::::::·····.......·····:::·--::::::--=+*#%@%#*+=-:.
. .......... ....·············...... .......--+==------==+*#%@%#*+=-:.
··==**+==-----=+*#%@%#*+=-·.
::++%#*+=------=+*#%%#*+=-·.
::*+%#*+=--:::--=+*###*+=:·.
::*+%#*+=-::··::-=*##**+-:·.
::++%#*+-::····::=+***+=-:·.
··++#*+=-:··...·:-=++++=-:·.
.... ..·::::::::::·.. ..···:::···.... ....···==#*+=-:·.....·:-=++==-:..
.······.. ...····... ..·:=+*********=-·. .·:=+******+=-:·... ...·::--==**+=:··. ..··-====-:·..
.·::--::·.. ..··:::::::··.....·:-=+#@@@@@@@@@#+-·. .:=*%@@@@@@@%*=-·.. ..·:-++***++=:·.. ..·:-===-:·.
██████╗ ███████╗███╗ ██╗ ██████╗██╗ ██╗███╗ ███╗ █████╗ ██████╗ ██╗ ██╗███████╗
██╔══██╗██╔════╝████╗ ██║██╔════╝██║ ██║████╗ ████║██╔══██╗██╔══██╗██║ ██╔╝██╔════╝
██████╔╝█████╗ ██╔██╗ ██║██║ ███████║██╔████╔██║███████║██████╔╝█████╔╝ ███████╗
██╔══██╗██╔══╝ ██║╚██╗██║██║ ██╔══██║██║╚██╔╝██║██╔══██║██╔══██╗██╔═██╗ ╚════██║
██████╔╝███████╗██║ ╚████║╚██████╗██║ ██║██║ ╚═╝ ██║██║ ██║██║ ██║██║ ██╗███████║
╚═════╝ ╚══════╝╚═╝ ╚═══╝ ╚═════╝╚═╝ ╚═╝╚═╝ ╚═╝╚═╝ ╚═╝╚═╝ ╚═╝╚═╝ ╚═╝╚══════╝Compare the whole catalogue · Browse model reports
Choose a field to explore public problems and discussions.
Fields and counts refer to this catalog page.
Safety / Agents
agentharm
AgentHarm measures how far a tool-using agent will go in carrying out a harmful request. It pairs 110 harmful behaviours with 110 matched benign ones, so over-refusal is measured alongside compliance.
Paper: arXiv:2410.09024
Reasoning / Agents
arc-agi-3
ARC-AGI-3 is an interactive benchmark for exploring unfamiliar game environments, learning their rules, and planning actions. The official toolkit provides an environment interface, with game versions and trial records t…
Agents / Search
assistantbench
AssistantBench collects realistic, time-consuming tasks that can only be answered by working through the live web, written so that each has one determinable answer. It measures whether a web agent is actually useful.
Paper: arXiv:2407.15711
Agents / Tools
bfcl
The Berkeley Function Calling Leaderboard evaluates tool use. It works up from a single call to parallel calls, multi-turn dialogue, and recognising when no function should be called at all.
Agents / Search
browsecomp
BrowseComp evaluates web browsing and the ability to identify answers from multiple clues. This catalog supports introductions and discussion of search methods without republishing decrypted questions or answers.
Repository: Source repository
Agents / Search
browsecomp-plus
BrowseComp-Plus supports evaluation of retrieval methods using BrowseComp tasks and a search corpus. This catalog links to the official distribution without republishing plaintext questions or corpus content.
Paper: arXiv:2508.06600
Agents / Multimodal
gaia
GAIA evaluates general AI assistants on tasks involving information gathering and tool use. Some tasks include attachments; this catalog provides an introduction in view of access and resharing restrictions.
Paper: arXiv:2311.12983