benchmarks.wiki / Public workspace
.·::--=+********++===--------::··.. ..·:=+**#####*+==-::······:::------------------::::······::--==++**++=-:··.
...···::---------:::··········... ..·::--=====---::························::::::···:::::::--==+**##*+=-::·.
................... ....·········.......... ...........::--::::--==+**##%#*+=-:·.
··--==------==+*##%%#*+=-:·.
··=-+==-----==+*#%%%#*+=-:·.
:·==*+=------=+*#%%@%#+=-:·.
::+=*+=--::--=+*##%%%#+=-:·.
::+=*+=-::::--=+*#%%%*+=-:·.
::+=*+=-:::::-=+*##%#*+=-·..
..··:::::::::··. ..··::::::··.........·······==*=-::···::-=+*#%#*+=:·..
... ..... .··:-+*********=-·. .·-=********+=-:··..···:--==+===+=-:·····:-=+*###*+-:·.
..... ...·······...··::-+*#@@@@@@@@@#+-·. ·-+#@@@@@@@@@%*=-:··.··:-=+*####*+=-:··..··:-=+*#*+=-:·.
.·:-=++*##**++=======++++++==-:·... ...·:=+#%@@@@@@%*+=:·.. ..·::-==++++++++++===--:::·················:·····...
.··::--===---:::::::::---:::··... ...·:--=+++++==-::·... ....···:::::::::::::::·····..·······:::::::::::····..
....······................. ....········..... .......................·.······:::-------:::···..
..·······:::---=====-:::··..
..··::··:::--========-::··..
..:·:::::::--==+++++=--:··..
·.::-:::::--==+++*+++=-::·..
··::-:::::--=++*****+=-::·..
··-:-:::::--=++*****+=--:·..
..···::::::::··. ..··:::::::···........·········-:--::::--=++*####*+=-:·..
...... ...·::-=+*******+=-·. ·:-+********+=-::····::--==++==--:-:::::--=++*####*+=-:·..
.......·····:::-=+*#%@@@@@@@#*=-·. .·=*%@@@@@@@@@@#+=-::::--=+*#%%##*+=-::::::-==+*####*+=-:·.
.··:------:····::--=++*++==-:·.....·:-=*#@@@@@@@@#+=:. .·:-=+*#%%%%%##**+==--:::······..... ..·····..
..··::::····.····::------::··......·::-=+++*++==-:·.. ..·::--========---::···.............. ...···...
..................·····..... .....········... .....········........ ......... ...····..
.................····..
................·····...
.....·····....········..
......··················..
.....····::::::::::::···..
....····::::::-----:::··..
....... ....···::::::··.. ..··::::::···................... ..·····::------===---::·..
......·...............··::--==++**++=--:·. .·-=+*******+=-::······:::----::···..····::---====+++==-::·..
.......··..·······:::--==++**##%%###*+=-:. ·:=*%@@@@@@@@@%*+--::::--=++++++=--::····:::-==++++***+=-::·..
...... ..·:-=++++=--:·....··:=+#@@@@@@@@#*=:. ·:=+#%@@@@@@@@%#*++=---::::::::··.. .·:----:·..
..... ..··::------::···.···::-==+++++=-::·. ..·:-=++******++=--::···.........·... .·::---:·..
....·······............······... ...·····::::·····..... ..... ..·::-::·.
... .·:::::·.
.. .·::::··.
.··:::··.
..··:::··..
.··::::··..
... ...··::::::··.
.......... ......·········... ..····::····.... ..........···:-----:··.
..·········.........···:::---=====--::·.. .·:-=++***++=--:··.............. .....·····:::--===--::·.
..····:::::····::::---====+++++++++==-::·. .·-=*%@@@@@@@%*+=-:········:::···... ....···:::---==+++==-::·.
.·:==++++==-:··...·:-=+#%@@@@@@#*=:. .:-+#@@@@@@@@@@@#*++==---====+==--:·. .:-+*###*=-:..
..·::------::·······::--======-:··. .·:-=+*********++=-::········::::····. .·-=*##*+=-:.
...········................... ...···::::::::::···.... .....···.. .·:=+***+=-·.
..·. .·:-+***+=:·.
.... .·-=+++=-:·.
.... .·:-=+==-:·.
. . .·:-====-:·.
. .·:-===--:·..
.·:-====-:··.
............ .................. ...·········..... ..·::-=+==--:·.
..···::::····.......·····::::------:::··... ..··:--==+===--:···...... ...··:-==++++=-:·.
.··:::::::::·::::::-------==========--::·... ...·:-=+*#%%%%#*+=-:··....... ......···::--=+****+=-:·.
.·:-=+*****+=-:··....·:-=+#%%@@%#*+-:. .·:=*%@@@@@@@@@@%*+==---==++****+=-:·. .·:=*#@@@%#*=:·.
..·::--===--::····.····::------::·.. .··:-+**********+=--::····:::-----::·.. .·-=*%@@@%#*=-·.
...·········.................. ...··:::::::::::···............·....·.. .·-=*%@@@%#*=-·.
..·.. .·-=*%@@@%#*=-·.
..·.. .·:=+#%@@%#*=:·.
..... .·:-+*%@@%#+=:·.
..... ..:-=*#%%#*+-:·.
... .·:=+*###*=-:·.
... ..·:-=+*#*+=-:·.
......... ..........................············.......... ... ..·:-=+*#*++-:·..
..·······............····::::------::::········:::--======---::::·····... ............··:-=+**##*+=-:·.
.··:::···········:::::----===++++++===-:::···::--=++**##**++==--::::···.. ..........···:--=+*####*+-:·..
..·:=+*#####*+=-:·.. ..·:-=+*#%%%#*+=:·. .·:=*#@@@@@@@@%*+-::···::-=+++++=-·. .:-+*%@@@@%*+-:·..
..·::--====--::··......···::----:::··.. ..·:-=+********+=-:··...···::----:··. ·:=*%@@@@@%#+=:·..
...········..... ......... ...···:::::::::···... .....··.... .·-+#@@@@@@%#*=:·.
.:=*%@@@@@@%#*=:·.
.·:=*%@@@@@@%#+-·.
. . ..·-=*%@@@@@@%#=:·.
. ... ..·:=*#@@@@@@%*=:.
. .......·:-+*#%@@@@#+-:.
.........·:-=+*#%%%#*=-:·.
.. ....................··························... ..........·...··::-=+*####*=-:·..
........ ....····:::-----------::::::----==================--::··. ...·······..······:--=+***#*+=-:·..
....... ....··:::---===++********++========++**#####**********++==-:·. .··:::::::::··:::--=++*****+=-:·..
..·:-=*#%%%##+=-:·. .·:-=*#%%%%%#*=-:.. .:-=*#%@@@%#*=-·.. .··:----:·. ·:=+*#%@@%%*+=-:·..
..··:-------::··... ...··::-------::·.. .·:-==+**++=-:··. ..··::··.. .:-+#@@@@@@@%*+-:·.
....·····...... ............ ..···:::::··... ....... ·-+#@@@@@@@@%#+-·.
.:=*@@@@@@@@@%*=:.
.:-+%@@@@@@@@@%+-·
..·:=*%@@@@@@@@@*=·.
...·:-+*%@@@@@@@@#+:.
. ..·::-=*#%@@@@@%#+-·.
..··:::-=++*##%##*+=-·..
...................·····················::::::···... ....····....··::::--=+++**++==-:·..
...···::::-----------------==========---====+++++++=-:··. ..··::-----:::··:::::---===++===-:··..
..·::--===+++***********+++++****######******##%%%@@%##+=-:·. ..·:-=++++++==---::::----=======-:··..
.··:-+*###*+=-:·. .·:-+*%@@@@@@%*+-:.. .·:=+*####*=-:. ..·:::::·. .:-+*#%%%%%##+=-:·..
..··:::::::··.... ..··::-==++++==-:·.. .·:--====-::·. ..····.. .·-+#%@@@@@@@%*=-·..
............. .....······.... ...······... .. ·-+#@@@@@@@@@@*=:.
·:+#@@@@@@@@@@%+:.
·:=*@@@@@@@@@@@*-·
.:=*%@@@@@@@@@@*=·
.·-+*%@@@@@@@@%*=:.
..·:=+*#%@@@@@%#+=:.
..::==++******+=-:·..
.........................·····............····:····.. ..··········..::-------=----:::··....
...··::::-----::::::::::::---------:::····::--=+++++=-:··. .·::-==++++==--::·:::::::::::::::::···...
..·::-==++++****+++++=====++++******++==----==+*#%%@@%#*+-:·. .·:-=*#%%@%%##*+=-::········::::---:::··...
.·::--===-:·.. ..:-=*%@@@@@@@@%*+-·. ..·-=+*###*+=-:·. ..·:--==--:·. .·-=+*#%%%%##*+=-:·..
.....····...........··:--=+******+=-:·. .·:--===--:·.. ..···:···. ·:=+#%@@@@@@%#*=:·.
..................··········.. ..·····... ..... :-+#@@@@@@@@@#+-·.
.-+#@@@@@@@@@@*=:.
.·+#@@@@@@@@@@#=:.
·:*%@@@@@@@@@#=:.
..:-#%@@@@@@@%*=:.
..--*##%%%##*=-:.
..::=======--:··..
....·····..... ......... ...·····.. ..··::::::····..··::···················...
..·:::-------::···......····::::···.. ..·::-===--:·. .·:-=+******+=-::·..... ....···::-----::··..
.·:-==++****+++=--:::···:::--====--:··.. .··-=+*###*+=-:·. ..:-+*%@@@@@@@%#+=:·.. ..·::-===+==--:··.
...······... ..·:-=*#@@@@@@@@@@#+=:·. .·:-=*#%%%%#*+=-::···:--=++***++=-:··.. ..·:-=+*##%%##*+=-:··.
......········::--=+********+=-·.. .·:-==++==--:··.....··:::----::·.. .··=*#%@@@@%#*+-:·.
...............····::::::···.. ..·······... .......... ·:+#@@@@@@@%#+-·.
:-#@@@@@@@@%*=:.
.:=%@@@@@@@@#+:.
..-=@@@@@@@%#+-·
..-=%%@@%%#+=:·.
..--+++++=--:·. ...
..··::::······.........···..
..·········... ..... ....·.... ..···:::::::··... . ...···::::---::::··.
..·:-=======-::·.. ...·····.. .·::---::·.. ..·-=+*******+=-:·. ..·:--=+++*+==-::·.
..·:-=**###**+=-::·.. ..··:::::·. .·:-++**+=-:·. .·:=*%@@@@@@@@%*=:·. .·:-=+*#####*+=-:·.
....······.···::-=*#@@@@@@@@@%#+-:·.....·:-+*#####*++=------==++**##***++=--::::::::--=++******+=-:·.. .....
..····:·····:::-==+********+=-··. ..·::-======--::·····:::--====---::···.......··::-*#####*+=-:·. ....
..·······.....····::::::::··.. ..········............·······.... ..--#%%@@%#*+-:. ...
..-=%@@@@@%*=-·. ..
..==@@@@@%#+=:. ...
.·==%@@%%#+=:·. ...
..--****+=-:·. ...·..
..··-----::··... ..····..
....················::::··.
..···:::::··... ........ ...····... ..··:::::::···.. ..·::--======----::··.
..·:-=+***++=-:·.. ..··:::··. .··:-----:··. .·:-=+*******+=:·. .·:-=+***#***+==--:··.
.·:-+*#@@@%#*+-:·. .··:---::·. .·-=+***+=-:·. .·-=*%@@@@@@@@#+-· .·:-+*#%@@@@%%#+=--:·..
..··:::::::·:::-=+*#%@@@@@@#*=-·. .··:-------:::::::---==++*******++++============++++===-:··. ..··:::··.
..··::::::···:::-==+*****+=-:·.. ..··::::::::·······:::---======----:::········::::-+++==-::·.. ..··:::··.
...······......····::::::··.. ....................···········..... ....--****+=-:·.. ..··::··.
..-=####*+=-:·. ..·····.
.·==%%%#*+=-·. ..·····.
..-=###**=-:·. ..·····.
..:-++++==-:·.. ..··::··.
.··-------::··......··:::··.
.··::-----:::·····::::::·.
...···::::··... ....·····... ..········... ...··::::::··.. .·::-==++===-----::::::·.
..·:-==+****=-:··.....··:-----::·. .·:-===+==-:··. ..·:-+******+=-:·. .·:-=+*###**++===---:::·.
.·-=+*#%@@@%#+-:·....··:-=++++=-:·. .:-=*#####*=-:·. .·:=+#%@@@@@@#*=:. .·-=*#%@@@%%#**+==--::··.
.··:-----::::::-==+*###**+=:·. ..........··::---===+++++++***++++++=====-------:::··... ..·:-=+++=-:·.
..··:::::·······::--====--:·.. ...........···:::----=======---:::············::---::···....··:-=+++=-:·.
...···...........·······.. .......·············.... ...::+++==-::··..··:--====-:·.
..--****+=-:··...··:--==--:·.
.·==###*+=-:··.....·::----:·.
.·==###*+=-:·... ..··::--::·.
..--****+=-:·... ...·::--:··.
..::+++++=-::·.....··:::::··.
··==+++==-::·....··:::::··.
...···::··.... .....······... ..··::::::···.. ...···:::···.. .·-=+++++=--:······:::::··.
.··:-==+**+=::··..··::--==--::·. ..·:-=+****++=:·.. ..·:=++****+=-:·. .·-=+*****+=-::··:::::::··.
.·:-=+*#%@@%*=-:····:-=+****+=-:·. .·:=+#%@@@@%#*=-·. .·:=+#%@@@@@#*=:·. .·:-+*#%%##*+=--:::::::::··.
.·::-----::::::-===++==-:··. ..··::---=========+++++++++===-----::::::::····....···:-=*###*+=-:·.
.········....···::::::··.. ..···:::---------------:::···......·······--::::···::-=+*#%#*+=-:·.
........ .......... ......·············..... ....:-++==--:::::-==*###*+=-:·.
··==##*++=-:::::-=+****+=-:·
··++%%#*+=-::··::-=+++++=-:.
··++@%#*+=-:·····:-==++==-·.
··++%%#*+=-:·....·:--===-:·.
··==###*+=:··.....·:--=--:·.
..-=##*++=:··.....·::----:·.
...····.. .......... ..··:::::::::·.. ...········... ..--***++=-:·.. ...·::--::·.
.··:-===-:··.....··:::::::··. ..·:=+*******+=-:·. .·-=++***+==:··. .··:-****+=-:·.. ..·::--::·.
.·:-=+*##*=-:··.··::-=++++=-:··.. ..·:-+*%@@@@@@@%*=:· ·:=*%@@@@@@#*=:·. .·:=+*****+=:··.....··:::::·.
.·:::-------===+++===-::··...... .·:--==++++====-------======------::::::::::::·······::--=+*#%%#*+=-:.
...··········:::::::···... ..··:::---------:::::::::·····.......·····:::·--::::::--=+*#%@%#*+=-:.
. .......... ....·············...... .......--+==------==+*#%@%#*+=-:.
··==**+==-----=+*#%@%#*+=-·.
::++%#*+=------=+*#%%#*+=-·.
::*+%#*+=--:::--=+*###*+=:·.
::*+%#*+=-::··::-=*##**+-:·.
::++%#*+-::····::=+***+=-:·.
··++#*+=-:··...·:-=++++=-:·.
.... ..·::::::::::·.. ..···:::···.... ....···==#*+=-:·.....·:-=++==-:..
.······.. ...····... ..·:=+*********=-·. .·:=+******+=-:·... ...·::--==**+=:··. ..··-====-:·..
.·::--::·.. ..··:::::::··.....·:-=+#@@@@@@@@@#+-·. .:=*%@@@@@@@%*=-·.. ..·:-++***++=:·.. ..·:-===-:·.
██████╗ ███████╗███╗ ██╗ ██████╗██╗ ██╗███╗ ███╗ █████╗ ██████╗ ██╗ ██╗███████╗
██╔══██╗██╔════╝████╗ ██║██╔════╝██║ ██║████╗ ████║██╔══██╗██╔══██╗██║ ██╔╝██╔════╝
██████╔╝█████╗ ██╔██╗ ██║██║ ███████║██╔████╔██║███████║██████╔╝█████╔╝ ███████╗
██╔══██╗██╔══╝ ██║╚██╗██║██║ ██╔══██║██║╚██╔╝██║██╔══██║██╔══██╗██╔═██╗ ╚════██║
██████╔╝███████╗██║ ╚████║╚██████╗██║ ██║██║ ╚═╝ ██║██║ ██║██║ ██║██║ ██╗███████║
╚═════╝ ╚══════╝╚═╝ ╚═══╝ ╚═════╝╚═╝ ╚═╝╚═╝ ╚═╝╚═╝ ╚═╝╚═╝ ╚═╝╚═╝ ╚═╝╚══════╝Compare the whole catalogue · Browse model reports
Choose a field to explore public problems and discussions.
Fields and counts refer to this catalog page.
Safety / Agents
agentharm
AgentHarm measures how far a tool-using agent will go in carrying out a harmful request. It pairs 110 harmful behaviours with 110 matched benign ones, so over-refusal is measured alongside compliance.
Paper: arXiv:2410.09024
Safety
harmbench
HarmBench is a standardized framework for comparing automated red-teaming attacks and refusal robustness on the same footing. It pits attack methods against defences and measures the success rate against harmful behaviou…
Paper: arXiv:2402.04249
Safety
jailbreakbench
JailbreakBench is an open robustness benchmark for jailbreaking attacks, defining 100 harmful behaviours alongside 100 matched benign ones. This catalogue deliberately introduces and links it rather than reproducing any …
Paper: arXiv:2404.01318