benchmarks.wiki / Public workspace

  .·::--=+********++===--------::··..      ..·:=+**#####*+==-::······:::------------------::::······::--==++**++=-:··.  
  ...···::---------:::··········...         ..·::--=====---::························::::::···:::::::--==+**##*+=-::·.  
      ...................                     ....·········..........            ...........::--::::--==+**##%#*+=-:·.  
                                                                                          ··--==------==+*##%%#*+=-:·.  
                                                                                          ··=-+==-----==+*#%%%#*+=-:·.  
                                                                                          :·==*+=------=+*#%%@%#+=-:·.  
                                                                                          ::+=*+=--::--=+*##%%%#+=-:·.  
                                                                                          ::+=*+=-::::--=+*#%%%*+=-:·.  
                                                                                          ::+=*+=-:::::-=+*##%#*+=-·..  
                                   ..··:::::::::··.             ..··::::::··.........·······==*=-::···::-=+*#%#*+=:·..  
   ...           .....          .··:-+*********=-·.           .·-=********+=-:··..···:--==+===+=-:·····:-=+*###*+-:·.   
  .....         ...·······...··::-+*#@@@@@@@@@#+-·.          ·-+#@@@@@@@@@%*=-:··.··:-=+*####*+=-:··..··:-=+*#*+=-:·.   
  .·:-=++*##**++=======++++++==-:·... ...·:=+#%@@@@@@%*+=:·..     ..·::-==++++++++++===--:::·················:·····...  
   .··::--===---:::::::::---:::··...   ...·:--=+++++==-::·...    ....···:::::::::::::::·····..·······:::::::::::····..  
     ....······.................          ....········.....          .......................·.······:::-------:::···..  
                                                                                          ..·······:::---=====-:::··..  
                                                                                          ..··::··:::--========-::··..  
                                                                                          ..:·:::::::--==+++++=--:··..  
                                                                                          ·.::-:::::--==+++*+++=-::·..  
                                                                                          ··::-:::::--=++*****+=-::·..  
                                                                                          ··-:-:::::--=++*****+=--:·..  
                                ..···::::::::··.             ..··:::::::···........·········-:--::::--=++*####*+=-:·..  
            ......         ...·::-=+*******+=-·.            ·:-+********+=-::····::--==++==--:-:::::--=++*####*+=-:·..  
              .......·····:::-=+*#%@@@@@@@#*=-·.          .·=*%@@@@@@@@@@#+=-::::--=+*#%%##*+=-::::::-==+*####*+=-:·.   
  .··:------:····::--=++*++==-:·.....·:-=*#@@@@@@@@#+=:.         .·:-=+*#%%%%%##**+==--:::······.....        ..·····..  
   ..··::::····.····::------::··......·::-=+++*++==-:·..        ..·::--========---::···..............        ...···...  
     ..................·····.....    .....········...            .....········........        .........     ...····..   
                                                                                              .................····..   
                                                                                              ................·····...  
                                                                                              .....·····....········..  
                                                                                            ......··················..  
                                                                                            .....····::::::::::::···..  
                                                                                            ....····::::::-----:::··..  
       .......              ....···::::::··..              ..··::::::···................... ..·····::------===---::·..  
    ......·...............··::--==++**++=--:·.           .·-=+*******+=-::······:::----::···..····::---====+++==-::·..  
   .......··..·······:::--==++**##%%###*+=-:.           ·:=*%@@@@@@@@@%*+--::::--=++++++=--::····:::-==++++***+=-::·..  
   ......      ..·:-=++++=--:·....··:=+#@@@@@@@@#*=:.          ·:=+#%@@@@@@@@%#*++=---::::::::··..         .·:----:·..  
    .....      ..··::------::···.···::-==+++++=-::·.         ..·:-=++******++=--::···.........·...         .·::---:·..  
                 ....·······............······...            ...·····::::·····.....         .....          ..·::-::·.   
                                                                                              ...           .·:::::·.   
                                                                                              ..            .·::::··.   
                                                                                                            .··:::··.   
                                                                                                           ..··:::··..  
                                                                                                           .··::::··..  
                                                                                                 ...    ...··::::::··.  
     ..........          ......·········...             ..····::····....                       ..........···:-----:··.  
   ..·········.........···:::---=====--::·..          .·:-=++***++=--:··..............        .....·····:::--===--::·.  
  ..····:::::····::::---====+++++++++==-::·.         .·-=*%@@@@@@@%*+=-:········:::···...    ....···:::---==+++==-::·.  
              .·:==++++==-:··...·:-=+#%@@@@@@#*=:.          .:-+#@@@@@@@@@@@#*++==---====+==--:·.       .:-+*###*=-:..  
              ..·::------::·······::--======-:··.          .·:-=+*********++=-::········::::····.       .·-=*##*+=-:.   
                ...········...................            ...···::::::::::···....      .....···..       .·:=+***+=-·.   
                                                                                            ..·.        .·:-+***+=:·.   
                                                                                            ....         .·-=+++=-:·.   
                                                                                            ....         .·:-=+==-:·.   
                                                                                            . .          .·:-====-:·.   
                                                                                              .          .·:-===--:·..  
                                                                                                         .·:-====-:··.  
    ............        ..................          ...·········.....                                  ..·::-=+==--:·.  
  ..···::::····.......·····::::------:::··...     ..··:--==+===--:···......                         ...··:-==++++=-:·.  
  .··:::::::::·::::::-------==========--::·...  ...·:-=+*#%%%%#*+=-:··.......                ......···::--=+****+=-:·.  
          .·:-=+*****+=-:··....·:-=+#%%@@%#*+-:.         .·:=*%@@@@@@@@@@%*+==---==++****+=-:·.      .·:=*#@@@%#*=:·.   
           ..·::--===--::····.····::------::·..         .··:-+**********+=--::····:::-----::·..      .·-=*%@@@%#*=-·.   
             ...·········..................             ...··:::::::::::···............·....·..      .·-=*%@@@%#*=-·.   
                                                                                          ..·..      .·-=*%@@@%#*=-·.   
                                                                                          ..·..      .·:=+#%@@%#*=:·.   
                                                                                          .....      .·:-+*%@@%#+=:·.   
                                                                                          .....      ..:-=*#%%#*+-:·.   
                                                                                            ...       .·:=+*###*=-:·.   
                                                                                            ...      ..·:-=+*#*+=-:·.   
    .........            ..........................············..........                   ...      ..·:-=+*#*++-:·..  
  ..·······............····::::------::::········:::--======---::::·····...              ............··:-=+**##*+=-:·.  
  .··:::···········:::::----===++++++===-:::···::--=++**##**++==--::::···..             ..........···:--=+*####*+-:·..  
      ..·:=+*#####*+=-:·..  ..·:-=+*#%%%#*+=:·.        .·:=*#@@@@@@@@%*+-::···::-=+++++=-·.         .:-+*%@@@@%*+-:·..  
        ..·::--====--::··......···::----:::··..       ..·:-=+********+=-:··...···::----:··.         ·:=*%@@@@@%#+=:·..  
           ...········.....        .........          ...···:::::::::···...    .....··....         .·-+#@@@@@@%#*=:·.   
                                                                                                   .:=*%@@@@@@%#*=:·.   
                                                                                                  .·:=*%@@@@@@%#+-·.    
                                                                                          . .    ..·-=*%@@@@@@%#=:·.    
                                                                                          . ...  ..·:=*#@@@@@@%*=:.     
                                                                                          . .......·:-+*#%@@@@#+-:.     
                                                                                          .........·:-=+*#%%%#*=-:·.    
     ..                 ....................··························...           ..........·...··::-=+*####*=-:·..   
  ........       ....····:::-----------::::::----==================--::··.        ...·······..······:--=+***#*+=-:·..   
  .......   ....··:::---===++********++========++**#####**********++==-:·.         .··:::::::::··:::--=++*****+=-:·..   
   ..·:-=*#%%%##+=-:·.      .·:-=*#%%%%%#*=-:..       .:-=*#%@@@%#*=-·..    .··:----:·.            ·:=+*#%@@%%*+=-:·..  
     ..··:-------::··...   ...··::-------::·..        .·:-==+**++=-:··.      ..··::··..           .:-+#@@@@@@@%*+-:·.   
         ....·····......        ............           ..···:::::··...         .......            ·-+#@@@@@@@@%#+-·.    
                                                                                                 .:=*@@@@@@@@@%*=:.     
                                                                                                .:-+%@@@@@@@@@%+-·      
                                                                                              ..·:=*%@@@@@@@@@*=·.      
                                                                                            ...·:-+*%@@@@@@@@#+:.       
                                                                                          . ..·::-=*#%@@@@@%#+-·.       
                                                                                          ..··:::-=++*##%##*+=-·..      
                   ...................·····················::::::···...         ....····....··::::--=+++**++==-:·..     
               ...···::::-----------------==========---====+++++++=-:··.      ..··::-----:::··:::::---===++===-:··..    
            ..·::--===+++***********+++++****######******##%%%@@%##+=-:·.     ..·:-=++++++==---::::----=======-:··..    
  .··:-+*###*+=-:·.       .·:-+*%@@@@@@%*+-:..      .·:=+*####*=-:.       ..·:::::·.             .:-+*#%%%%%##+=-:·..   
    ..··:::::::··....    ..··::-==++++==-:·..        .·:--====-::·.         ..····..            .·-+#%@@@@@@@%*=-·..    
         .............      .....······....           ...······...             ..               ·-+#@@@@@@@@@@*=:.      
                                                                                               ·:+#@@@@@@@@@@%+:.       
                                                                                              ·:=*@@@@@@@@@@@*-·        
                                                                                             .:=*%@@@@@@@@@@*=·         
                                                                                            .·-+*%@@@@@@@@%*=:.         
                                                                                          ..·:=+*#%@@@@@%#+=:.          
                                                                                          ..::==++******+=-:·..         
              .........................·····............····:····..           ..··········..::-------=----:::··....     
           ...··::::-----::::::::::::---------:::····::--=+++++=-:··.       .·::-==++++==--::·:::::::::::::::::···...   
         ..·::-==++++****+++++=====++++******++==----==+*#%%@@%#*+-:·.     .·:-=*#%%@%%##*+=-::········::::---:::··...  
  .·::--===-:·..       ..:-=*%@@@@@@@@%*+-·.     ..·-=+*###*+=-:·.    ..·:--==--:·.           .·-=+*#%%%%##*+=-:·..     
    .....····...........··:--=+******+=-:·.        .·:--===--:·..       ..···:···.            ·:=+#%@@@@@@%#*=:·.       
           ..................··········..            ..·····...            .....              :-+#@@@@@@@@@#+-·.        
                                                                                             .-+#@@@@@@@@@@*=:.         
                                                                                            .·+#@@@@@@@@@@#=:.          
                                                                                            ·:*%@@@@@@@@@#=:.           
                                                                                          ..:-#%@@@@@@@%*=:.            
                                                                                          ..--*##%%%##*=-:.             
                                                                                          ..::=======--:··..            
          ....·····.....         .........           ...·····..             ..··::::::····..··::···················...  
        ..·:::-------::···......····::::···..      ..·::-===--:·.         .·:-=+******+=-::·..... ....···::-----::··..  
       .·:-==++****+++=--:::···:::--====--:··..   .··-=+*###*+=-:·.     ..:-+*%@@@@@@@%#+=:·..      ..·::-===+==--:··.  
  ...······...     ..·:-=*#@@@@@@@@@@#+=:·.   .·:-=*#%%%%#*+=-::···:--=++***++=-:··..    ..·:-=+*##%%##*+=-:··.         
        ......········::--=+********+=-·..      .·:-==++==--:··.....··:::----::·..         .··=*#%@@@@%#*+-:·.          
          ...............····::::::···..          ..·······...        ..........            ·:+#@@@@@@@%#+-·.           
                                                                                            :-#@@@@@@@@%*=:.            
                                                                                           .:=%@@@@@@@@#+:.             
                                                                                          ..-=@@@@@@@%#+-·              
                                                                                          ..-=%%@@%%#+=:·.              
                                                                                          ..--+++++=--:·.          ...  
                                                                                          ..··::::······.........···..  
       ..·········...           .....               ....·....            ..···:::::::··...  .     ...···::::---::::··.  
     ..·:-=======-::·..       ...·····..           .·::---::·..        ..·-=+*******+=-:·.         ..·:--=+++*+==-::·.  
    ..·:-=**###**+=-::·..    ..··:::::·.          .·:-++**+=-:·.      .·:=*%@@@@@@@@%*=:·.         .·:-=+*#####*+=-:·.  
     ....······.···::-=*#@@@@@@@@@%#+-:·.....·:-+*#####*++=------==++**##***++=--::::::::--=++******+=-:·..      .....  
       ..····:·····:::-==+********+=-··.    ..·::-======--::·····:::--====---::···.......··::-*#####*+=-:·.       ....  
        ..·······.....····::::::::··..         ..········............·······....          ..--#%%@@%#*+-:.         ...  
                                                                                          ..-=%@@@@@%*=-·.          ..  
                                                                                          ..==@@@@@%#+=:.          ...  
                                                                                          .·==%@@%%#+=:·.          ...  
                                                                                          ..--****+=-:·.         ...·.. 
                                                                                          ..··-----::··...     ..····.. 
                                                                                            ....················::::··. 
     ..···:::::··...        ........             ...····...            ..··:::::::···..          ..·::--======----::··. 
   ..·:-=+***++=-:·..      ..··:::··.           .··:-----:··.        .·:-=+*******+=:·.          .·:-=+***#***+==--:··. 
   .·:-+*#@@@%#*+-:·.      .··:---::·.          .·-=+***+=-:·.      .·-=*%@@@@@@@@#+-·          .·:-+*#%@@@@%%#+=--:·.. 
    ..··:::::::·:::-=+*#%@@@@@@#*=-·.      .··:-------:::::::---==++*******++++============++++===-:··.      ..··:::··. 
     ..··::::::···:::-==+*****+=-:·..      ..··::::::::·······:::---======----:::········::::-+++==-::·..    ..··:::··. 
      ...······......····::::::··..          ....................···········.....       ....--****+=-:·..     ..··::··. 
                                                                                          ..-=####*+=-:·.      ..·····. 
                                                                                          .·==%%%#*+=-·.       ..·····. 
                                                                                          ..-=###**=-:·.       ..·····. 
                                                                                          ..:-++++==-:·..     ..··::··. 
                                                                                           .··-------::··......··:::··. 
                                                                                             .··::-----:::·····::::::·. 
    ...···::::··...    ....·····...           ..········...          ...··::::::··..          .·::-==++===-----::::::·. 
  ..·:-==+****=-:··.....··:-----::·.         .·:-===+==-:··.       ..·:-+******+=-:·.         .·:-=+*###**++===---:::·. 
  .·-=+*#%@@@%#+-:·....··:-=++++=-:·.        .:-=*#####*=-:·.     .·:=+#%@@@@@@#*=:.          .·-=*#%@@@%%#**+==--::··. 
   .··:-----::::::-==+*###**+=:·.             ..........··::---===+++++++***++++++=====-------:::··...   ..·:-=+++=-:·. 
   ..··:::::·······::--====--:·..             ...........···:::----=======---:::············::---::···....··:-=+++=-:·. 
     ...···...........·······..                        .......·············....          ...::+++==-::··..··:--====-:·. 
                                                                                          ..--****+=-:··...··:--==--:·. 
                                                                                          .·==###*+=-:··.....·::----:·. 
                                                                                          .·==###*+=-:·... ..··::--::·. 
                                                                                          ..--****+=-:·... ...·::--:··. 
                                                                                          ..::+++++=-::·.....··:::::··. 
                                                                                            ··==+++==-::·....··:::::··. 
    ...···::··.... .....······...          ..··::::::···..          ...···:::···..          .·-=+++++=--:······:::::··. 
  .··:-==+**+=::··..··::--==--::·.       ..·:-=+****++=:·..       ..·:=++****+=-:·.         .·-=+*****+=-::··:::::::··. 
 .·:-=+*#%@@%*=-:····:-=+****+=-:·.      .·:=+#%@@@@%#*=-·.      .·:=+#%@@@@@#*=:·.        .·:-+*#%%##*+=--:::::::::··. 
  .·::-----::::::-===++==-:··.                     ..··::---=========+++++++++===-----::::::::····....···:-=*###*+=-:·. 
   .········....···::::::··..                       ..···:::---------------:::···......·······--::::···::-=+*#%#*+=-:·. 
    ........     ..........                          ......·············.....           ....:-++==--:::::-==*###*+=-:·. 
                                                                                          ··==##*++=-:::::-=+****+=-:·  
                                                                                          ··++%%#*+=-::··::-=+++++=-:.  
                                                                                          ··++@%#*+=-:·····:-==++==-·.  
                                                                                          ··++%%#*+=-:·....·:--===-:·.  
                                                                                          ··==###*+=:··.....·:--=--:·.  
                                                                                          ..-=##*++=:··.....·::----:·.  
    ...····..      ..........           ..··:::::::::·..           ...········...         ..--***++=-:·.. ...·::--::·.  
  .··:-===-:··.....··:::::::··.       ..·:=+*******+=-:·.         .·-=++***+==:··.       .··:-****+=-:·..  ..·::--::·.  
 .·:-=+*##*=-:··.··::-=++++=-:··..  ..·:-+*%@@@@@@@%*=:·         ·:=*%@@@@@@#*=:·.       .·:=+*****+=:··.....··:::::·.  
  .·:::-------===+++===-::··......              .·:--==++++====-------======------::::::::::::·······::--=+*#%%#*+=-:.  
  ...··········:::::::···...                    ..··:::---------:::::::::·····.......·····:::·--::::::--=+*#%@%#*+=-:.  
      .       ..........                          ....·············......            .......--+==------==+*#%@%#*+=-:.  
                                                                                          ··==**+==-----=+*#%@%#*+=-·.  
                                                                                          ::++%#*+=------=+*#%%#*+=-·.  
                                                                                          ::*+%#*+=--:::--=+*###*+=:·.  
                                                                                          ::*+%#*+=-::··::-=*##**+-:·.  
                                                                                          ::++%#*+-::····::=+***+=-:·.  
                                                                                          ··++#*+=-:··...·:-=++++=-:·.  
    ....                              ..·::::::::::·..            ..···:::···....    ....···==#*+=-:·.....·:-=++==-:..  
  .······..      ...····...        ..·:=+*********=-·.          .·:=+******+=-:·... ...·::--==**+=:··.  ..··-====-:·..  
 .·::--::·..    ..··:::::::··.....·:-=+#@@@@@@@@@#+-·.         .:=*%@@@@@@@%*=-·..   ..·:-++***++=:·..   ..·:-===-:·.



    ██████╗ ███████╗███╗   ██╗ ██████╗██╗  ██╗███╗   ███╗ █████╗ ██████╗ ██╗  ██╗███████╗
    ██╔══██╗██╔════╝████╗  ██║██╔════╝██║  ██║████╗ ████║██╔══██╗██╔══██╗██║ ██╔╝██╔════╝
    ██████╔╝█████╗  ██╔██╗ ██║██║     ███████║██╔████╔██║███████║██████╔╝█████╔╝ ███████╗
    ██╔══██╗██╔══╝  ██║╚██╗██║██║     ██╔══██║██║╚██╔╝██║██╔══██║██╔══██╗██╔═██╗ ╚════██║
    ██████╔╝███████╗██║ ╚████║╚██████╗██║  ██║██║ ╚═╝ ██║██║  ██║██║  ██║██║  ██╗███████║
    ╚═════╝ ╚══════╝╚═╝  ╚═══╝ ╚═════╝╚═╝  ╚═╝╚═╝     ╚═╝╚═╝  ╚═╝╚═╝  ╚═╝╚═╝  ╚═╝╚══════╝

Pause animation

Benchmarks

Compare the whole catalogue · Browse model reports

Choose a field to explore public problems and discussions.

Fields and counts refer to this catalog page.

Reasoning / Long context
LongBench v2
longbench-v2
LongBench v2 evaluates deep understanding and reasoning over long contexts through multiple-choice questions. Its official description lists 503 questions spanning tasks such as single-document and multi-document QA and …
Full text200 tasks
Metric
accuracy over multiple-choice questions (README: 503 multiple-choice questions)
Size
503 questions described in the catalog introduction; this train selection expects 200 task records with a source-row limit of 200.
License
apache-2.0 (declared on the Hugging Face dataset card)
Reference links
3
Paper: arXiv:2412.15204

Benchmarks

LongBench v2