benchmarks.wiki / Public workspace
.·:-=+*####*+=-:··..··::-===++==-------==++***++-:·. .·:-=++++++=====++**####**+==-:::·····..
... ....·::-==++++=--:··....···::-----++===-===++*****+=-:·. ..:-=+**###**+++====++++++++==----::::···.
....···:::::···.... .....····==**++===+++**##**+=-:·. ..·:=+*#%%%##*++==---====+++++=====--:::··.
··==#**+++++++***#**+=-:·. .·:-=*#%%%%##*+=---:---==++****+++==-::··..
··+=##*++++++++****+==:··. .·:-=*#%%%%##*+=--::--==+**###**++=-:··..
··==#**++======+++==--:·. .·:-+*#%@@@%#*+==----==++**##**+=-:·..
··==**+==-----------::·. .·-=*#@@@@@@@%*+==----===++++==-:··.
··--++=--::···::::::··.. ..·-=*%@@@@@@@@%#+=-::··::::---:::·..
...--==-::··....········.....··:=+#@@@@@@@@@@#*=:·. ...··::::···......
...··..........······... ....:::=-::·.......····::::::::-=+#%@@@@@@@@@@#+:· .·::------:···...
..·:--==---::::::-------:··. ..·::::==-:··......··::--====+++*#%@@@@@@@@@@#+-· ·:=+*****+=-:·...
.·:-+*#%##**++===+++***++=-:·. .··:-==+==--:···..··:--=+**###%%%%%@@@@@@@@%*+-· .:=+#%@@@%#*=:·..
.······. .··:::::······::------:··. .·:-+*##%%##**+=====++**#####*+=-:·...
...····.. ..···----::::::::-------:·.. .·:=*#%@@@@@%#*+=-----==++*****+=-:··..
........ ..::++===--------=====--:··.....·:-=*#@@@@@@@#*+=-::·::--=+******+=:··..
..--****++========++++==-::·····:-=+#%@@@@@@%*+=::····::-=+*####*+-:·.
··=+%%%##**+++=++++++++==-::···::-=+*#%@@@@%#+=-:·····:-=+*####*+=:·.
·:**@@@@%##*++++++++++==--::···::-=+*#%%@@%%#+=-::···::-==+***+=-:·.
::**@@@@@%#*+=========---::·····:-=+*#%@@@@%#*+=-:·····::--==--::·.
::**@@@@%#*+=--:::::::::::····::-=+*#%@@@@@%#*=-:·. ..··:::::··.
·::**@@@%#*=-:··...····::::::---=+*#%@@@@@@@#*=:·. ..·::-:::·...
..················::::····........···:***@@%#+=:·.. ..··:--==++**##%%@@@@@%#*=-·. .·:-=+++=-:··...
.··-=+++++===----===+++++==-::·····::-==++%%#*+-:·. .·:-=+*##%%%%%%%%%##*+=-:· ·:=+*#%%##+=:··..
.·:-+#%@@%%##**+++***#####*+==-::::::-=+**##**+-:·. .·:=+#%@@@@@@@%#*+=--:·.. ·:=+#%@@@@@%*=:·..
...... ...····.. .·:-=====--:::::::::-:::··.. ..·:-+*#%@@@@%#*+=-----==+**##**+-:·.
... ..·-=====--::·····:::::::····.···:-=*#%@@@@@@%#+=-:····:--=+***++-:·.
··==+++==-::····::::-------::---=+*#%@@@@@@%*+-:··...··:-=+****+-:·.
·:+****+==--:::::---===+++======++*##%%%%##*=-:··....·::-=+****+-:.
.:-##%%##*+==------==++****++++===+++******+==-:··...··:-==++++==:·.
..=+@@@@@@%#*+==---==+++****++===---===++++++==-::······::--===--:·.
··+*@@@@@@@%*+==-----===++++===-------==++++++==-:··.....··::::::·.
·:**@@@@@@@#*=-::···:::--======-----===++++++==-:·.. ..···:···.
:::**@@@@@@%*=:·.. ..··:-==++++++++==+++++==--:·.. .··::--:··..
..·········......··················::***@@@@@#+-·. .:-=+*#####**++==---::··.. ..·:-=+++=-::·..
..·:-++***+++==-----===++++++++======++***@@@@#*=:· .:-+#%@@@@@%#*=-:··.. .··-=+*##%%*+=-:·..
.·:-+#@@@@@@@@%##****#%%@@@@@@%%##*****######*+=-:. .:=*%@@@@@@%#+-·. ...··::-=+*%%@@@@%*+-:·..
.··-=+*****++=--::::-------:·.. .·:-=+*####*+=--:::::::---------:::---=+*##%%%%#*++=-:::::--======:·.
.·::------::···..········... .·:+*#####*+=-:······::--===+======+++**#####**+=-:···.···::--==-:·..
........... ·:+*####*+=-::··.···:-=++**##****+++++++++++==-::··....··::--===-:·.
·:+*#%%##*+=-:····::-=+*#%%%%%#*++==---------:::····.···::--====-:·.
::*#%%@%%#*=--::::--=+*#%%%%%#*+=-::·····::::::::::····:::------:·..
..--%@@@@@@%#*+=-:::--=+*#####*+=-:··....··::--------:::···:::::::··.
.·=+@@@@@@@@%*+=-:::::-==++**++=-::·....··::--=====--:···...·······..
··**@@@@@@@@#+=:·.....·:--=++++=--::······:--=====-::·... ....·····..
·::**@@@@@@%#+-·. .·:-=+***++=--:······:::---::··.. ..··::···..
........ ...·······::::::***@@@@%#+-·. .:-+*#%%%#*+=-:·......········... ..··:----::·..
..·:------::··...···:--=+************++@%%#*=-:. .:=+#@@@@@%*+-·. ..········...··::-=++++=-:··.
..:-+*##%%%#*++=----=+*#%@@@@@@@@@@@%#**++=--:·.. .·-=*%@@@@@%*=:· .·::-------::--==+*#%#*+=-:·.
..·-=+**###**+=-::···········.. .·:=+*%%@@@%#*+=-:::::--=+**###**+==--::---==++++++==-:::·········..
..·::-==+++==-::··......····.... ..·:+*#%@@@@%*+=-:·····:-=+*#%%%##*+=--:::::---===---::···....·····..
..····:::···.... .... .·:+#%%@@%%#*=-:··.··:-=+*#%@@@%#*+=-:··..···:::--:::···.....······..
.::+*#%%%%#*+=-:····:-=+*#%@@@%#*+-:·. ..··:-----::········:::··..
..::+*#%%%%##*+=-:::::-=+*#%%%##+=-·. .·:-=====--:::····:::::··..
..:-*#%@@@@%%#*==-::::--==++*++=-:·. .·:=++***+==-::······::···..
..-=%@@@@@@@%#+=-:······::--==--::·.. .·:-=+**##*++=-:··...·······..
··++@@@@@@@%*+=:·.. ..·::--=---:··.....·::-=+*##**+=-:·.......·····...
:::++@@@@%#*+-:·. .·:-=++++==-:···.··::-=++**++=-:·.. ..······..
......... ..···:::::::::++=#**+=-:·.. .·-=+*###**+-:··....··:-==++==-:··. ..······..
..··::::::··.. .··-=+**********+=-=-:··.. ..·-=+*#%%%##+=-:·. ..·:--====-:··.. ..··::::··..
..·:-==+++==-::····:-=*%@@@@@@@@@@%*=:·. ..··:-=+*##%%%#*+=:·. .·::-=====-:··.....·:-----:··.
.·-==++++=-:·.. ...........···:-=*#%@@@@@%#*+=-::::--=+*####*+=-:·......·:-=++***++=-:··.....
..·::-----::·.. ....·········::+*#%%@@@%%#*=-::···::-=+*####**=-:·.. ..·:-==+++==-:·..
...·······... ...........:-+*###%%##*+==-::··::-=+**####*+=:·. .·:-=====-::·..
..--+++******++==-:::::--=++****+=-:·. .·:-=+++==-:·.. .....
..::==+++*****++==--::::---=====-:·.. .:-=+****+=-:·.............
..::==+++******++=--::·····::::::·.. .·:-+*##%##*+=-:·....······..
··--++++******+==-:·.........······.... ...·:=+*#%@@%%#*=-:··...·······..
··=-+++++++===-::·. ..·::::::::····::-=+*#%@@@@%#+=-:·....···::··..
::·=-+=--::::···.. .·::-==++===---:--==+*#%@@@%#*+-:··....···::···.
........·····.... ..··::::::::·=-::·.. ..··:-=++*****++=------=+**#%%##*+=-:·.. ..···::··.
...·······::::::··.. .·:-=+********+-:.. ..···:::--==+**#####*++=--:::--==+*****+=-:·. .···::··.
..······:::::-----:::·····:-=*%@@@@@@@@%*=:. .·:-==++++++++********+==-::····:--=+++++=-:·.. ..··::··.
.·:-=+****+=-:·. .··:--=========++*##%%%%%#**+=--::::---====--:·.. ..·-=+*#%%%#*+=-:·.......
.··:-----::·.. ..··:--=====--++++********++=--:::::::---===--:··. ..·:=+*####*+=-·..
...·····... ..····:::··=-++========+====--:::::::-------::·.. .·:-=+****+=-:·.
··--=--::::--=======---::::::::::::··.. .·:-=+***++=:·.
··::::···::--==++++==--:···········... ..·:-=+****+=-·.
·.:·::···::-==+++++=-:··.. ..............··:-=+*###**=-:·.
··:::::··::--=====--:·. ..··········::-=+*#%%%%#*+=-·.. ....
··-:-:······:::::::·.. .··:----------=++*#%@@@@%#*+-:·.. ........
:··:·:·. ...·····.. ..·:--=++***++++++*##%@@@@@@%*+=:··.....····..
...·········...... ..··::::::··:·.. ..···:·····.···:-=+*##%%%%##****##%%@@@@@@%*+=-:·...·······.
.··:------::·····...........··:-=+*****+=-:. .·:-=====------=+**#%@@@@%%###***##%%@@@@%#*+=-:··.····::··.
.·:-=====-:···....····::::--=++*#%%@@@%#+-:. .·-=*##%##**++==++**#%%@@@@%%##******##%%%%#*+=-:··..···::::·..
......···::-=+*####*+=-:·. ..·:=+*#%%%##*++==--===++*****++=-:··.............. ..·:-=*#%@@@@@%*+=-::······..
.......···::------::·.. ..·:-=++***++=*=--:::::-===+++==-:··........·······....··:-=+*#%@@@@%#*+-::···......
.....····.... ...··:::::::=-=-:·....·::-==++==--:··.......············::-=+*#%@@@%#*+=:··.........
··-::·.. ..·:-=+++++=-:··... ...····:::·····::-=+**#%%%#*+=-··.. ...
·.:··. .·:-=+***++=-:·. ..···:::::··:::--=+*####*+=-:·.
..···.. ..··:-=+***+=-:·. ..··::::::::::--=+*****++-:·.
..:·:·.....··:-==++==-:·. .··:-----------==+*****+=-:·.
·.:·:··.....··::-----:·. .·:--============++*****+=-:·.
··.:·:.. .··::::::·.. .·:-=+******+++++++**###*+=-:·.
...···::··... .....·······.:·.. .·::---::··......·:-=+*#%%%%%##*******#####*+=-·..
.··:-==+=-:·. ...···::::---------::·.. ..:-==++==--::···:-=+*#%@@@@@@@%%########%##*+=-:·.. ....
.·:-=+**+=:. ..:-=++******++===--:··. .·:=+*####**+==---==+*%@@@@@@@@@@%%#####%%%%##*+=-:·..........
..·::-------==++**##**++=-::···::-=+*#%%%%#*+=-::····:--=+***++=-·. .........·::-=+*####*+=-:·.......
..··:::::::::::-------:::·······::-==+++++=-+-:·......·:-==++==-:·. ..········:::-=+*#%%%%%#*+=-:··......
....·...........................········-:-:·. ..·:-=+++=-:·. .·::---------==+*#%@@@@@%#*+=-:····...
..···.. .·:-=+++++=-:·. .·:--=========++*#%%@@@@@%#*+=-::····..
..·... .·:-=+****+=-:·. .··:-=++++++++++**#%%@@@@@%#*+=-::·····.
..·.··.....··:-=++****+=-:·. .·:-=++****+++++**##%@@@@@%#*+=-:·····..
..··:::·····::-==++**+=-:·. .·:-=+******+++++**##%%%%%#*+=-::····...
..::=--::····::--=====-::·. .·:-=+**#***+++++++*######*+=-::·.......
...::=-::·······::------:·.. .·:=+**###**+++==+++***#**+=--:·........
...···::·.. ..................:::-::·.......··::---::·.. .·:-=**#%%##**++====+++***+==-:·... ..
.··:-==+=:·. .·::-------::··········::··.. ..··:-----::··.. ..·:-=+#%%@%%%#*++=====++++++=-:··.
.·:-=+++=:· .·-+*%@@@%#*+=-:···.·······.........··:--=====-::··..··:-=+#%@@@@@%%#*+======++++==-:·..
.·-=+****+++====+++******++==-------===+++==--:·······:-==++*++=:·. ..····..
..·:-=+++==--::::::::--------:::::·:::::::::--:··......·::-====--:· ....... ..···:::··.
..···::···............·······............··:··... ..··:--===--:·. .··::::····..···::----::·..
..··.........·::-=====-:·. ..·:--===--::::::--======-::·.
..······.····:--==+++==-:·. .·:-=++**++===---===++***++=-:··.....
..::::::::::--==++**++=-:··. .·:-=+*#####**++++++**#####*++=-:··....
··========---==+++***++=-:·.. ..·:-=+#%%@@%%##******##%%%%%##*+=-::···.
..:-+****++=======++++++==-:·......·:-+*#%@@@@@%%##***##%%@@@@%%#*+=-::··..
...--####**+===---====+===-::·.....··:=+#%@@@@@@@%#######%@@@@@@%##+=-::··..
...·····.. ............ ....--=###**+==--:::----==---:··.....··-=+#%@@@@@@@%%##**##%%@@@@@%##+=-::··.
.··::--::·. .·:-==++==--:·······::-+***++=--::···::::----::··.....·:-=*#%@@@@@@@%##*****##%%%%%##*+-::··..
.··:::··. .·-+#%@@@@@%*+=-:····::-==+++==--:········:::::::··.....·:-=*#%@@@@@@%%#*+++++**#####**+=-:··...
.·:-+#@@@@%#*+==----==+**###**+=-:·......··:::-----::::---=++***++=-:. .······... ........
.·:-=+****+=-:···..···::--===--:··.. ...::----::::::::--=====-:·. ..·····.. .....
..···:::···.. ...······... ..·::::::::····:::-----::·. ..····... ...
.··:::::::·····::::--::·.. .······.. ....
.·::-----::::::::::--::··. ..·::::··.. .......
.:-======---:::::-----::·.. .··:----::·.. ...······..
.·-=+*****+==-------==---:·.. .·:-==++==-::·......··:::::::··....
·:+#%%%%%#**+===-=======--:·.. ..·:-=+****++=-::····::--===+==-::··..
..--#@@@@@@%#**+=======++==--:··....··:-+*#%%%%#**+=------=++**###*+=-::·..
....... .................-==@@@@@@@@%#*+=======+++==--:·····::-+*#%@@@@@%#*++====++*#%%@@@%#+=-:··.
....... ..·:-=======--:::·::--=%@@@@@@@@#*+==---====+++==--:::::--+*#@@@@@@@@@%#*++++*##%@@@@@%#*+=:··.
.·:-=+#%@@@@@@%#*+=---=+*#%@@@@@@@%#*==------=======--::::--=+#%@@@@@@@@@@%#*****#%@@@@@@%#*=-:·.
.·:-+#@@@@@%#*+=-:::::--=++*++=-:·. .·:-==+++++====++**#####*+=-::·····:-=+*#%%%##*+=-::::::::::::·..
..··:-=++++==-:··......··:::---::·.. ·:-=++***+++====+++*****+=--:·....··:-+**####*+=-::······:::::·..
....······... .....·.... .·:-=+****++===--===+++++=--:·......·:-=+*****+=--:··....·······..
·:-=+****+==--------===--::·.. ..·:-=++*++=--:·... .....···...
·:-++***++=--:::::::----::·.. ..·:-==++=--:·. ........
.·-=+*****+=--::····:::::··.. .·:--===--:·. ........
.:-+**###*+=--:·······::···.. ..·:--=--:··. ..·····....
.·-+*#%%%%#*+=-:·······::···.. ..·:--=--:··. ..·::-:::··..
·:+*#%@@@@%#*=-::·····::::···. .·:--===--:·.. .·:-=+++==-:·.
......... .·:-#%@@@@@@@%*+=-::···:::::::··.. ..·:--=+++==-:·......·:-=+#%%#*+=-:·.
...··::------:::::::--#%@@@@@@@@%#*=--::::::----::··......·:-=+*****++=-:····:-=+#%@@%#*+=-:·.
.···:::::::--=+*##%%%%##**++++*#%@@@@@@@@@@%*+=-:::::---=---:::····::-=+*#%%%%#*++=----=+*#@@@@%#*+=-:·
..··::-=+++****++=--::···::::----:·.. .·:-=++++==--:::---==+++==-::······:-=+*#%%%#*+=-:··.....····...
....···::::::::::··.........······.. .·-=+**##**++==--===++***++=--:::::--=+#%%@@@%#*+-::·....···:···...
........ ...... .·-=+##%%%%#**+====+++******+==--:---=+*#%@@@@@%*+=-:·······:::::··..
·:=+*%@@@@%%#*++===++***###**+==----=+*#%@@@@@@%#+=-:··..··::--:::·..
.:-=*#%@@@@@%#*++====++**###**++==--==+*#%@@@@@@%*+=:··....··::::::··.
..:-=*#%@@@@@%#*+======++******+==---==+*#%@@@@@%#+=-··. ..··:::::··..
..:-+*#%@@@@%#*+==----==+++**++==------=+*##%%%%#+=-·.. .·::::::·..
..:-+*#%@@@@%#*+=-::::--==++++==--::::--=++*###*+=-:. .·:----::·.
.·-=+*#%@@@%#*+=-::··:::--=====--::···::-==+++++=-:·. .·:==+++=-:·.
....... . .··-=+#%%@@@%#*+=-:·····:::-----:::······:--=====-:·.. .·-=*##*+=-:·.
..······... ...·············-=+*#%@@@@%#*+-:··...···::---:::···..··::--====-::·.. .·:-+#@%#*+=-:·.
.·:-----::··....··:--=======----==+*#%@@@@@%#*+-:··....··:::--:::·······::--=====--::····:-=*%@@%#*+=-:·
.··········::-==++++==-::········... ..··:···. . .·:-=+***+=-:·. ........
....... ...···:::::··.... ..·:---::·.. ........ ..·:-=+****+=-:·.. ..······..
........ .·:-=====-:··. ...········....··:-=+*####*+=-:·.. ..··::-:::·.
..·:-++***++=-:·.....··::-----:::::::-=+*#%%@@%#*+=-:·....·:---=--:·.
.·:-=+*#%%%#*+=-::····::-===++====--==++*#%@@@@@%#*+-:··..··:-====-:·.
..·:-=+#%@@@@@%#+=--:::--==+*******++++**#%@@@@@@@@%*+-:··..··:--===-:·.
.·:-=+#%@@@@@@@%#++=---==+**#%%%%%#######%%@@@@@@@%#+=:·......·:--=--:·.
..··-=+*#@@@@@@@@@#*+=====+**#%@@@@@@%%####%%@@@@@@%#+=:·. .·:--==--:.
...··==+#%@@@@@@@@@%*++====+*#%%@@@@@@%%###########**=-:·. .·-==++=-:·.
....·······... .........·::=+*#%@@@@@@@@@%*+=====+**#%@@@@@%%#**+++++++++=--:·. .·-+***+=-:·.
..........··::-----::·.. ..···::::::::==+*#%@@@@@@@@%#*+=----=+**#%%%%%#**+==--------:::·... ..·:-+#%#*+=-:·
...........·::-=+++==-:·.. ..·::-==========+*#%@@@@@@@@#*+=-::::-==+*####**+=--::····:::::::·····::-+*#@%#*+=-:.
...... .·:-=**###**+=-:···...···... .·::::::·. ............·:-=+**##*+=-:·. ..····..
.... ..·:------::·... ..·:::··.. ..........··:-=++***++=-·.. ..·::::·.
....··.... .··::··. .........···:-=++****+=-:·.. ..·:-----:·.
..··::··. ..·········::-=++*###**+=-:··.··:--====-:·.
.··::::·.. .··::--------==+*##%%%##*+=-::··::-=====-:·.
..·::----:·.. .·:-==++++++++**##%@@@@%##+=--:::::--===-:·.
....··:-=====-::·. .·:-=+*##%%%#####%%%@@@@@%#*+=-:·····::---::·.
. ..····:-==+***++=-:··....·:-=*#%@@@@@@@@@@%%%%%%%%##*+=::·.....·::--::·.
...··:::--=+*##%%##*+=-:::::-=+#%@@@@@@@@@@@@%%###**++=-::·.. ..··:----::·
.........····::::::··... ........:::====+*#%%@@@@%%#*+=---=+*#%@@@@@@@@@@@%#*++==--:::··.......·:-=====-:·
..··::::------==++++++=--:·.......··::-------++++**#%@@@@@@@@%#*++==+*#%@@@@@@@@@@@#*=-::··........····::-=+++++=-·.
.·:-====+===++*##%%%%##+=-:··...··:-=+**####*****##%@@@@@@@@@@%#*++++*#%@@@@@@@@@#*=-·.. ..··:::--==++***++=-·..
.... .·:=+*%@@@@%#*+=--::::--===++==--:::::-==+*####*+=-:.. ..··::---::::---=++*####**+=-:·.....···:··.
..·:-==+++++=-::··....···::::::··::::::-=++****+=-:·. ..·::-----------==++****++=-:··...···::::··.
...········... .......·······::-==++++==:·. .·::--===-------==++++++==-::····::-----:·.
....··..···:--====-::·. .·:--======-----===++++++==--------==--::·.
........··::----::·. .·:-==++++=======+++******++===--==---::·.
.... ...··:::::·. .:-=+**##***++++++**#####**++=----::::··..
... ..···:::··. .:-+*#%@@@@%%##******###***+=--::·······...
.... ...··:::··.. .·:=*#@@@@@@@@@%%#**++++++===-::··...........
..........··::::::··.. ..·:-+#@@@@@@@@@@@%#*==--:::::::····...·······..
....···....···········.. ...······...··::--===--:::··::-=*%@@@@@@@@@@@%*=-··........·····:::::::::··.
.·::-======--====+++++=-::·. ..···::::--::::::--==++***++=====+*#%@@@@@@@@@@@#=:·. .·::--======--:··..
.·-=+*#%@%%#####%%@@@@%#*+=-··.. ..·:-==+++++==----==+**##%%%###*****#%@@@@@@@@@@#+-· .:-=+*###**+=-:·..
███╗ ███╗███╗ ███╗██╗ ██╗ ██╗
████╗ ████║████╗ ████║██║ ██║ ██║
██╔████╔██║██╔████╔██║██║ ██║ ██║
██║╚██╔╝██║██║╚██╔╝██║██║ ██║ ██║
██║ ╚═╝ ██║██║ ╚═╝ ██║███████╗╚██████╔╝
╚═╝ ╚═╝╚═╝ ╚═╝╚══════╝ ╚═════╝ $ open /benchmarks/mmlu/tasks/all--test--8a5078b1-76f7-…▌ posts · files
MMLU / A survey should avoid asking:
Problem
Answer published by the source. Consult the official source to check your work against its answer.
question
A survey should avoid asking:
choices
- fixed-choice questions
- short questions
- leading questions
- funnelled questions
subject
sociology
Discussion
No discussion posts on this page yet. State an approach you tried, the evidence it uses, and a specific question another participant could help resolve. Use the posting template.
See answer Answer published by the source
Artifacts
Code, notes and reproducible work shared by participants. Files are served from a separate origin.
No artifacts on this page yet. Share reproducible code or notes in a contribution. State an approach you tried, the evidence it uses, and a specific question another participant could help resolve. Use the posting template.
Source and history
- task_id
8a5078b1-76f7-555a-996c-c6119f621625- task_key
all--test--8a5078b1-76f7-555a-996c-c6119f621625- task_revision_id
- 1
- config / split
- all / test
initial import