benchmarks.wiki / Public workspace

  ..·······....·······..             .·:-=+****++=-::······::---======----------======--:··.....··:-=*#%@@@@@%*+-:·..   
   ..............····..                .··::---:::··.........···············:::::::::··..           .··::----::···..    
             ...........                  ..........                 ··...............                    ... .....     
                                                                                                              .......   
                                                                                                              ..···...  
                                                                                                            ..··::···.  
                                                                                                            ··-:-::··.  
                                                                                                            ··-:-:··..  
                                                                                                            ·.:····..   
                ..................············........·········....          ..···::::·····.........···...... .......   
              ...·····...     ...·::-===++===--:::::::--=======--:··..     ..·::--==---::·................        ....  
           ...··::::··.         ..·-=+**####*++===--==++*##%%##*+=-:··.....··:-======-:·.                        .....  
   .......     ....                ·:-+**###*+=-:·......·:-==+*****+==-::·····:::::::::··..   ...·:-=+*****+=-:·..      
    ..........····...               .·:---=--::·..       ..·::------:::····....··.....             ..··::::::··.·....   
       .......····....                ...····...            .........::...........                     .......··::···.  
                                                                                                            ..::-::··.  
                                                                                                            ··-:-::··.  
                                                                                                            ··:::··..   
                                                                                                            ..···...    
                                                                                                            .........   
                                                                                                              ...···..  
               ....................··············...............          ....·······...                      ..::::··. 
              ...·······.....···::--=========-----------------::·...     ...··:::::··.                .......···----:·. 
           ...······....    ..··:-=+**#####**++=====++***##***+=-:··......··::---::·.              ..··:::::-------::·. 
  ......                       .·:-=++***++=-::·.....·::-=+**##**+=-:··........·····...         .·:-==+++++==-::····..  
   ...............              ..·::-----::·..       ..·:--=====--:··...                        ..·:--=====---:--::·.  
    ......·........               ....····...            ...·······..··                           ..··········-:=-:··.  
                                                                                                            ··:·:··..   
                                                                                                            ......      
                                                                                                                        
                                                                                                              . .....   
                                                                                                            ..··::::·.  
                                                                                                            ..-:+==-:·. 
            ...········...........····::::::····..............        .   ........                 .......····--++=-:·. 
            ..··:::::::·········::-==+++++++==---::::::::::::··...       ....··...              .·::-----------:=--:·.  
            ..···:::::········::-=+**#%%%%##**++=====+++++++==-:··.......··:::-:::·..       .·:-=++***++==----::::··..  
   ..                 .......···:--===++===--:::···::--=++****++=-:·.                        .·:-+*%@@@@@@%%#*+=--:··.  
  .......                    ...···::::::···.........··:--=====-::·..                        .·:-=+*******+==-:·:··...  
    ........                    ..........            ...········......                      ..···::::::···.. ....      
                                                                                                                        
                                                                                                                        
                                                                                                              .......   
                                                                                                            ..::---:·.  
                                                                                                            ··==*+=-:·. 
                                                                                                            ··=-++=-:.  
          ..·········....   ....··:::::::::··...        .....                                ...···········...::--:··.  
         ..·::------::···...··::-=++******+==-::··············...       ...······...     ..··:--====--::···.....···..   
          .··:--===--::······::-+*#%@@@@@%#**+=-------======--::······:-==+*####**+=--:::::--===+===-:··..   ........   
               ..··::::····..···::-==+++++==--:::::::--=+++++=-:·.              ........··:=+#%@@@@@@@@@%*+=-:··.....   
                .................····::::····.....···::--===--::·..          ..........···::-=++****++=-:·.             
                                   .....           ...····::····.... ..   ....................······...                 
                                                                                                                        
                                                                                                              ..··...   
                                                                                                            ..::--:··.  
                                                                                                            ··--+=-:·.  
                                                                                                            ··--=--:·.  
                                                                                                            ..:·-::·..  
       ...········...........··:::::::::···..          ....               ........       ....······....       ..···..   
       ..·::-----:::···.····:-==+*******+=-::··.....···:::::····...···:--=======-::··......·········..         .....    
        .·:-======-::······::-+*#%@@@@@%#*+=-::··::--=++*****+++++**#%@@@@@@@@@%*+-:·..   ...·······...    ...···...    
            .··:----::···...··::-=++****++=--:::·:::--==++==-:·..         .·:--========+++*##%%%%##*=-:..        .....  
             ..·······...     ...··::::::::········::--=====--::·........··::-----:::·······::::::··.                   
               .......              ......      ....···:::::::···....::...······...            ...                      
                                                                                                               .....    
                                                                                                            ..··:··..   
                                                                                                            ..::-::·..  
                                                                                                            ..::--:·..  
                                                                                                            ..··-::·..  
                                                                                                              ..:···..  
       .................·····:::::::::··...         .................--·······...            ....             ..···..   
     ...··:::::::::····:::--==+******+=--:·......··::-=============+++****++=-:·.          ....··....         ......    
      ..·::------::······:--=+*#%%%%##*+=-:·····:-=+#%@@@@@@@@@@@@@@@@@@@%#*=-:.         ..·:--===--::···········...    
          .··:-----:::······::--=++****++=--::::::-==++***++=-:··....··:-=++***++=-::········:::··..           ..···..  
          ..········...      ..···:::::::::····::--==++****+==-::······:::::::··..         ...···...            ......  
            ........              ..............···:::::::::::···....··......              ..........           .....   
                                                                                                              ..·...    
                                                                                                             .·····..   
                                                                                                            ..··::··.   
                                                                                                            ..:·-::·..  
                                                                                                            ..··--:··.  
                                                                                                              ··-::··.  
         ....···············::::::···...        ...··:::::::·········--·....                 ...              .·:::·..  
       ...··:::::::::::::---===+++==--:··....··:-=+**********+===-----:::··.            .··::::::··..       ....····..  
       ..··::::::::·····::--=++***++=--:·····:-=+#%@@@@@@@@#*+==--------::··..      .·:-=*#%%%%%#*+=-:··.....····....   
         .··:---=---::······::-==++***++===---==+*##%@@@@%#*+=-::······::::::·..         ..···:··..         .··::-::·.  
         ...······...       ...·:::------------=++********+=-:··..     .......        ..··::---::··.          ..····..  
           ......                ............···::::::::::··..               ..........···:::::···..          ..···..   
                                                                                                              ..··...   
                                                                                                              ..···..   
                                                                                                            ..··::··.   
                                                                                                            ..::--:·..  
                                                                                                            ..::=--:·.  
                                                                                                            ..:-==-:·.  
        ..·························...........··::::::::::··....     ..                 ........            ..::==-:·.  
        ..·:::::::::·····::::------::······::-==+******+=-::·................    ...·::-======-:··.        ..··:---:·.  
         .··::::···.....··::--====--:···..··::-=+*****+=-:··.....·::--=====-------=+*#%@@@@@@@%#+=:·..    ..··:::::··.  
        .·:--====--:···...··:-=++*######*****##%@@@@@@@%*+-:·          ..·······...···::--===--:·..       .·:==++==-:.  
         ..······..        ..··:--============+++****+=--··.         ..··:::----------=======--:·..        ..··:---:·.  
          .....                ....····......·········...           .:-···:::::::::::::::::::···..            ··:::·..  
                                                                                                              ··::··.   
                                                                                                             .··:··..   
                                                                                                            ..··::··.   
                                                                                                            ..::--:·.   
                                                                                                            ··--=-:·..  
                                                                                                            ··=-+=-:·.  
       ...·······.............····.........····:::::···..            ··..          ............          ...··==*+=:·.  
        .··::::···.......···::::::···......··::------::··.......··::-------::::::---===+++==-:··.       ..·:-===*+=-·.  
        ..······.... ....··::::::··.        ..·:---==---::::::-==+*##%%%%###****##%@@@@@@@@@#*=-·.      .·:-=***++=-·.  
       .·:------:··......·:-=+*%%@@@@@%%###********+=-:·.         .·-=+*##%###*+++=========--:··.      .·:-+*###*+=:·.  
        ..····...         .··:-=======---::::::::::::··..      ..·:-=+*********++========---:··.         .·::---+=-:·.  
          ...                ...........     ............     ...··::**::::::::::···········...            ...--==-:·.  
                                                                                                            ..::=-:·..  
                                                                                                            ..::--:·.   
                                                                                                            ..::-::·.   
                                                                                                            ..::--:·.   
                                                                                                            ··--=-:·.   
                                                                                                            ··=-+-:·..  
       ..........       ............      ......···.....      .....··==···....................        ....····==+=-·..  
       ..·····....    ....·····..          .··:-------::::·:::--==+++**+++====----======--::··..    ..··:-==+++=*=-:·.  
      ..·:---::··........····..           .·:=+*##%##**++===++**#%%@@@@@@%%%###%%%%@@@@%#*+=-:·.     .·:-+*#%@%#*+-:·.  
      ..·::-:::··......·:-=+#%%@@@%#*+=--::::::-----:::·····::=+*%@@@@@@@@@@@%*++=------::::···.....··:-=*##%%#*+-:·.   
       ...···...        ..·::-----::···.....··:::-----:::::::--=+************+==--:::::::···...      ..·::-==+=-=-:..   
        .....                ......        ...·········........···:::**:::::·····...........            ...···=-=-·.    
                                                                                                            ··=-=-·.    
                                                                                                            ··--=-·.    
                                                                                                            ··--=-:..   
                                                                                                            ··--=-:·.   
                                                                                                            ··--=-:·.   
                                                                                                            ··=-=-:·.   
       .......                           ...··········.......····::::*+····.....................   ......·····=-+-:·..  
     ..··:::··..                       .··:-=++***++==---:---==++*******++==---:::::::::::····.....··::--==+++==+=:·..  
   .·:-=+**+=-:··..   ..........   ..··:=+*%@@@@@@%#*+==----=+*##%@@@@@@@@%%##*****++++==-::·······::-=+*#%@@@%*+=:·..  
     ..··::::··.......·:-==+****+==-::··:::-=+*#######*****##%@@@@@@@@@@@@%#+=-:········:::::::-----==+++****+=-:·..    
      ..····..          ..··::::::·······::-==+++++==---:::--==+*********++=-:···................····::-------:··..     
      ......               ...............·········...       ...····:++:····.....                   .....····.:··.      
                                                                                                            ··:··.      
                                                                                                            ··:··.      
                                                                                                            ··-::·      
                                                                                                            ··-:-·.     
                                                                                                            ··=--:·.    
                                                                                                            ··=-=-·..   
      ......                        ....··:::::::::····..·····:::::::++··....    ................  .....····::==+-:·.   
   .··:::::·..          .....·..····::--=+******++=--:::::--=++********+=--:········:::::::::········::-==++++==+=:·..  
  .:-=+***+=-··......·::--====------==+*##%%@%%#*+=-:····::-=*#%@@@@@@@@%#*+=----------===----::::--==+*##%%@%#*+-:·..  
    ..··:::··.       .·:-=++****++=====++*##%@@@@@%##******#%@@@@@@@@@@%*=-:..     .··:-=++***+++==-------------::··..  
    ....·...          ..·:--====----:::::--------::····.···::-=+******+=-:··.       ...··:::::::::::··········..·....   
      ....             ..·········............               ...·····+=·...             ....................  . .       
                                                                                                                        
                                                                                                            .           
                                                                                                            ...         
                                                                                                            ..·.        
                                                                                                            ··:··.      
                                                                                                            ··-::·.     
     ....              ............····::::::::::·····..·····::::::··=-...     .......·...............···:::::=-=-·..   
  ..··::··..      ..··::-----::::::::--===+++===--:::::::-==+*******+=--:··....···::------:::······::--=++****+=+-:·..  
 .·:-=====--:····::-=++****++==--::---===+++==-::··...··:-=*#@@@@@@@@%#+=-:·····::-==+++++==---::---=+*#%%@@@@#*=-:·..  
    .......       .·:-+*#%@@@%%#*+==----===++++++++=====++*#%@@@@@@%#+=:·.      .·:-=*##%%%#*+=-:··...··:--=+**++=-:·.  
     .....        .··:-=+++++=--:··...  .................·::-==++++==-:·.         .·::-=====--::·...   ....··::·-::··.  
                  ...·········..                           ...·······-:.            ...······....             .......   
                                                                                                                        
                                                                                                                        
                                                                                                                        
                                                                                                                        
                                                                                                            ...         
                                                                                                            ··:··..     
                   ...········......·····:::::······...··············::...     ...................····::::::::=-=:··..  
  ..······......···::------:::·······:::--------:::::::--==+++**++==-::···...····:::----:::::···:::-==++******=-=-:··.  
 .·::--=---::::::--==++++=--:··......···:::::::·····::-=+*#%@@@@@@%#*=-::·····::-==++*+++==---::--==+*#%%@@@%%*+-:··..  
    ..........··:-=+*#%%%%#*+=-·..     ..··:---=========++*******+=-:·..    ..·:-+*#%%%%#*+=-:·......·:-+*#%@@%#*+=-:·. 
    ...........··::--====-::·.                 .......··::---==---:··.        ..·:-==+++==-:·..       ..··:--=--+=-:·.  
      ......   ......···....                            ....·····.....          ...········..               ..··:··...  
                                                                                                                        
                                                                                                                        
                                                                                                                        
                                                                                                                        
                                                                                                            ......      
                                                                                                            ··::::··..  
                ....······...........·····:::·····.......···········.:·.        ......··············::::::::::=-=-:··.  
  ..····........··:::::::···...  ....··::----------:::----====+====-::···.....···:::------::::::---==++****++=-:-::·..  
 ..·:::···....···:------::·..        ..··::--------===++*##%%%%%##*+=--:·····::--=++++++===-------==+******++=-··...    
   ..··:::::::::--======-:·.            .·:-==++++====-----------::::·····::--=++*****++=-:··.....·:-=+#%@@@@@%#*+-:·.  
   ...·····....····:::··..                 ..············::::·····..........··:--=====-::·..         .··:--====-=-:·..  
                .........                           .............            ...·······...                ....····...   
                                                                                                                        
                                                                                                                        
                                                                                                                        
                                                                                                              ........  
                                                                                                            ··::-::··.  
                                                                                                            ··--=-:··.  
                .............  .....····:::·····.........·········...·.        ...··················:::::::···-:-:··..  
   ...        ...·······...      ..··:--======---:::::::--===++===-::·...  ...··::--===----:::::::---===---::··.....    
  .....      ..·::---::·..         ..·:-=++***+++======++**##%%##*+=-::······::-==+++++==-::········::::··..



     ██████╗██╗      █████╗ ██╗   ██╗██████╗ ███████╗      ██████╗        ██████╗ ██████╗ ██╗   ██╗███████╗
    ██╔════╝██║     ██╔══██╗██║   ██║██╔══██╗██╔════╝      ╚════██╗      ██╔═══██╗██╔══██╗██║   ██║██╔════╝
    ██║     ██║     ███████║██║   ██║██║  ██║█████╗  █████╗ █████╔╝█████╗██║   ██║██████╔╝██║   ██║███████╗
    ██║     ██║     ██╔══██║██║   ██║██║  ██║██╔══╝  ╚════╝ ╚═══██╗╚════╝██║   ██║██╔═══╝ ██║   ██║╚════██║
    ╚██████╗███████╗██║  ██║╚██████╔╝██████╔╝███████╗      ██████╔╝      ╚██████╔╝██║     ╚██████╔╝███████║
     ╚═════╝╚══════╝╚═╝  ╚═╝ ╚═════╝ ╚═════╝ ╚══════╝      ╚═════╝        ╚═════╝ ╚═╝      ╚═════╝ ╚══════╝

Pause animation

Claude-3-Opus

All models · Read as JSON

These are quotations of published scores, not measurements made here. Evaluation conditions differ by row, so this is not a ranking. Different metrics must not be combined.

Recorded benchmark reports
Benchmark	Score	Metric	Setup	Reported by	Source
OSWorldClaude-3-Opus	2.42	Success Rate (%)	Screenshot; overall Ubuntu tasks; max 15 steps; temperature 1.0; top-p 0.9.	PaperReported: Not stated	Table 5, Overall column; Section 4.1Checked: 2026-09-16