benchmarks.wiki / Public workspace
..·:::::··.. ....···.. .............··:-=*#%@@@@@@@@%#*+=-:·····:-=+#%@@@@@@@@%*+-:·.
...··.... ..... ............··::-=++*******++=-:··......·::-=++***++=-::·..
.....···::::::::···... ....·······......
. .
..···:::::····......·····.... .......... ........... ....................·....
..·:-=+*****+==----:--------::··.. ..···::::::::····::::::···... ...··:::----::::::::::::----::::··..
.·-=*#%@@@@@%%#*++===++++++++=-:·.. ..··:-==+++******+++=--:·.. ..·:-=+*#####*++==-----==++**###*+=-:·..
....... ..··:::::··.. ...·····... ..·:=+#%@@@@@@@@@@%*+=-:::::--=+***#****++===----::::···....
....··... ..............··::-=+**********+=--:::···::::::::······::::::::::··:··...
.............····:::::::::::·····....... .....····..:·.·...
...·...
.....
...
. .
. .
.. .
...··:::····.................. .................... .........................·...
..·:-=+****++=--:::::::------::··.. ...··:::----=---::·.. .·:---===---:::·····::::::::::··..
..:-=*#%@@@@@@%#*++===++++++++==-:·.. ..·:-=+*##%%%#*+=:·. .·:=+*#%%%%%#**+===----===+++*+++-:·..
.... ..·:-=++**++=-::·.........···.... .··-=+#%@@@@@@@@@%%#*++===--::···...··::-=+*##%%%%%%*+=-::·.
..·::----::··... .............····::--=++********++++===--::·.. ..·:-==+******+=*=-:··.
.......... ...........·············:::::::::···.. ..··::::::::+=-=-:·..
:::=-=:··..
:·-:-:·..
··:·:·..
·.:··..
..·.·.
...·...
........... ......···········.... .....········.. ....····....... .........··..
.··:------:::····::--===++++==-::··.. ..··:--====--:·. .··::--------::····...·····::::···.
..·:=+*#####*++======++*##%%##**+-:·.. .·:-=+****+=-:·. ..·:-==+*******++=--::::::::---==--:·..
...···::··......··:-=++***++=-::·... ......·········:::--==++++++****#######*+=-:·. .·:=+#%@@@@@@@@%#*=-:·.
....... ..··::------::··... ....····:::::::::::::::::::--==++++++=-::·. ..·:-=+*********+#*+=:·.
....·····.... .....··········..........····:::····... ..··::::::::::*+=*+=:·.
:::+=*+-:·.
::+=*+-:·.
::+=*=-:·.
::+=+-:·..
::=-=-:·.
···---:·..
.............···::::::::::::··.. ...·····... ............... .....·····=-:-:·.
..·::::::::::::-==+**********+=-:·. ..·::::::···... .....····::::::::···.......··::-----:-:·..
..·:-=+++++++++++**#%@@@@@@@@%#+=:·. ..··:::::::····::::::::········:::--------::···...··::-==+++=-:·..
..·:--===-:··......··::--===--::·... ...··::--=======--:··.. ...·:-=+*####**+=-:·. ..·:=+*%@@@@@@@@#*=-:··.
...··:::··... ..···:::::···... ...··::----=---::·.. ..··:--======--::··.........·::-=+*********+#+=-:·.
...... ........... .....········... ....········.................···::::::::::*+=*=-:·.
:::+=*+-:·.
::+=*+-:·.
::+=*+-:·.
::+=*+-:·.
::+=*=-·..
:::+=*=:·..
............···::::::::::::::·.. ...............................................···:::::*+=+-:·.
.··:---------===+***********+=-:·.. ......···::-------:::···......····::::·········::--=+++*+=*=-:·.
..·:=+**########%%%@@@@@@@@%#*+=-:··... .·:-=+*#%%%%#*+=-:·... ...···::::::·······:-=+*##%%%#+=-·..
.·::-====-:·. ..·::------::····..···:--=++***+=-:·. .·:-=++*****++=--:··.. ..·:-=++*****+=-::··..
.··:::::··.. ..··········......···:::---:::·.. ..··::::---------::::···.......··::--===+===-=-:··..
........ ......................... .................······.............····:::::+=-=-:·..
:::=-=-:·..
::+=+-:·..
::+=+=:·..
::+=+=:·..
::+=+-:·.
:::+=+-:·.
...···············::::::::::···.... ...···::::::::····........·········........····::::*=-=-·..
..·:-==========+++++++++++===--:::::·····... ..·:--=+******++=--:········:::-----:::::·::::-==+++++=+=:·.
.·:-=+#%%@@@@@@@%%%##**+++===---======--:··. ..·-=*#%@@@@@@@%#+=-:·......··:---===---::::--==+*##%%%*+-:·.
..·:-====-::·.......··:--========----:-----====--:·.. ..··::----=====++===--:·.. .·::-=====--:···..
..··:::::··.. ...····:::::::::::::::···.. ..···::::::::::::::::-::::··... ..··:::--::-::··..
......... ........··...... ....····..............····..... ....···-::-::·..
···-:-::·..
··-:=-:·..
··--=-:·..
··--=::·.
··-:-:·..
···-:-:·.
...············................········.... ...··:::::::::::::·················..... ......··-:::·.
..··:-====+++====---::········:--===++==--:··.......··:-=+***********+==--::::----====--::···.....··::::-::-:·.
..··:-=*#%%@@@@%%#*+=-::·····:-=++*##%##*+=-::··...··::-=+#%@@@@@@@@@@%#*+=-------=+++++++=--:·······::--===-:··.
.·:-=+*#%%#*++=---------======++++++++++==-:·. ..·:---------:::::---=======-::·.. .··:-==+++=--:···..
.··:-==+==--::··........····:::-------::·. .··::----:::···········::::::··... ..··:::---:-::··..
..·······... ....······.. ....·····....... ............. .....·-::-::··.
···-:--:··.
··-:=-:··.
··--=-:·..
··-:-::·.
.·::-:·.
...:·:·..
.............. ...··::::::::···.... ....···::::::::::::··············.... ..··.·..
...··::-------::··... ...·::-=+******++==-:::·······::--=+***********++==------------::·.. .....·..
...·::-=+*****+==-::·····:-=+*#%%@@@%%##**++===--------==+*#%@@@@@@@@@@@@%#*++====+++++==-:·.. ........
.·-=+*#%@@@@@@@%*++=-::::::::-==+**##**+=-·. ..·:-=++++++==--:::::::--=+**###**+=--::···::--=======-:··..
..·:-==+*****+=-::·.. ..··::------:··. ..··::::-::::···.......···::------::··.......···:::::::·:··...
...···::::··... .......... ............. ............ ........::·:··...
.··::-::·..
··-:=-:·..
··--=-:·..
··-:=-:·.
..::-:·.
...····..
....... ...··::::::::::····..... ....····::::····................. ......
....·······........·::-==++*****+++====----:::········::-==++****++==-:::·····::::::··.. ......
...···:::········::-=+#%@@@@@@@@%##**+++++++++++===------=++*#%@@@@@@@%#*+=---::-------::·.. ...···..
.:-=+*#%@@@@@@@%*+-:·. ..·:-=+*****++=--:::::::::--===++*****++==---::---=+*#%@@@@@@@%#*+=--:::::--::::·..
.··:-==+******=-:·. ..··::::::::::::··············:::::::::····....···::-==++++++=--:····...·······.....
...···::::··.. .........·........ ..... ...··········.... .....··.·...
...:·::··.
..::--:·..
··-:=-:·..
.·-:-:··.
..:·::·..
.······..
...····::···········....... ........ .....··..... ...·····.
..·::-=+******++==---::::::::::::··... ...··::::::···......···:::--:::··.. .·::::··.
...... .·:=+#@@@@@@@@@@%#*+==----===+++++==-::··.....··:-==++++==-::······::--====-::·. .·:----:·.
.·-=+*#%@@@@@@#+=:·.. ...·::--===++**##%%%%%%%###********#######**+===--==++*#%@@@@@@%#+=-::··.........
.··:-==+***++=-:··..............···::-==++****++==--:::::::::-----::::······::--=++++++=--:··..
...········....... ...···:::::::···.... ........... .....·········... ...·...
..··::·..
..::-::·..
..::-::·..
..::-::··.
..··-:::··.
··----:·.
...··········..... ...···········... .··===-:·.
... .·:-==++**+++=--:···.......·····... .............··::--=======-:··. .··====-:·.
...... ..·:-+*#%@@@@@@%#*+==-::······:::---::··. ..··:::::·····::--=++*****++=-:·. .·:-====-:·.
..·:-=+*##**++=========---:::::::--=*#%@@@@@@@@@@@@%%######%%%%%%##*+=-::···::--=+++*++==-:··.
..···:::::------===---:··.......·::-=+***********+==-------======--::··......··:::---::··.. ......
.....··········... ...··:::::::::::···...........···..... ........... ···:··..
...··::··.
..:·::··..
..··::::·..
..··---::·.
.·:===-:·.
.::++=-:·.
............. ...···:::::::::··... .:::+==-:·
....... ....···:::::::::··... .... .....·...····::--=++******+=--:··.....··:::=--:·..
..·····::::::::::::--------:::··.. ....·... .··:::-------==++*##%%@@%%#**+=--::::::----:··...
...·::-+*#%@@@@@@%#*=-::····:-=+*%@@@@@@@@@@@@%%#*****#####*+=-:··. ..·::-----::·.. ..·::::··..
.··:-=+*******+=-::··....··::-=+***********++==-------==---::·.. ...···.... ..···::··..
..···::::::::···..... .....···::::::::::::····......···..... ..···:··..
...·.···...
..·····.
..:::::·.
··----:·.
..::=--::·.
...::--:··.
.. .... ....··:::::::::::···.........:····...
..········.... ...··... ...·········:::--==++********++===----:::··...
.··:-=====-:·.. ..·······. ..·::-===++++***###%%%%%%%%%%%%%%###**+=-:·.
.·-+#%@@@@@@@@@%#+=-:··....··:-=+*#%%@@%%#*++=------===++==--:·.. ..··:::::::··... ...·:--=++=--:·.
.·-=+*********++=--::··.....···:--=++****++==-::::··:::::::::··. .......... ....····:::····..
..··:::::::::······..............····:::::::···................ .......... .. .
.....
......
..····..
..····..
..·.·....
.. ...
........ ....····.... ......·····:::::::::········... .
..··:::::·.. ..·::----:::·... ...···:::----==============++++++++==-:·..
.·::-==+=-:·. .·:-==+++==-::·.......··:-=+**#%%%@@@%%%##*******##%%@@%%#*=-:..
.·:-+*#%@@@@@@%%#*++=-:·.. ..··::---:::··....··:-==++*+++=--:··.......···::::::----===++*****+==-··.
..·:-=++++++=====----:::··.. ...··:::::···.......··:::----::··... ...···::--======-::·..
...···:·······............. ............ ........... ...····::···...
....··.... ..... ....·····.... ......······..........···········..
..··:---::·.. .......... ...··::------::··... ...··:--===+++==---:::::::--===++===-::··.. ..
.·:--===-:·.. ..····........·::-=++****++=-::······:--=+*#%@@@@@%%#*+======++*******+==-::···...........
.··:-=+++===---------::··.. ............·::=+*##%%%%%#*+==-::········::-=+*%@@@@@@@@%#+-:.
.··::---::··············... ........ ....··::-==++++==--::·.. ..·:-=+*******+=-:..
.......... ......... ...··········... ..··:::::::··..
...········................... .......... ....······.... ....·······..... .. ...
..·:--=+===-::········::::::::··... ..···:::::::···........··::--====--::···...···:::-------:::::::·····:···...
.·:-=+*##*+==-:······::--====--::·.......·::-==+++++==--------==++*****++==------==++++++++==--------====++=--::··.
███████╗██╗ ██╗███████╗ ██████╗ ███████╗███╗ ██╗ ██████╗██╗ ██╗ ██████╗ ██████╗ ██████╗
██╔════╝██║ ██║██╔════╝ ██╔══██╗██╔════╝████╗ ██║██╔════╝██║ ██║ ██╔══██╗██╔══██╗██╔═══██╗
███████╗██║ █╗ ██║█████╗ █████╗██████╔╝█████╗ ██╔██╗ ██║██║ ███████║ ██████╔╝██████╔╝██║ ██║
╚════██║██║███╗██║██╔══╝ ╚════╝██╔══██╗██╔══╝ ██║╚██╗██║██║ ██╔══██║ ██╔═══╝ ██╔══██╗██║ ██║
███████║╚███╔███╔╝███████╗ ██████╔╝███████╗██║ ╚████║╚██████╗██║ ██║ ██║ ██║ ██║╚██████╔╝
╚══════╝ ╚══╝╚══╝ ╚══════╝ ╚═════╝ ╚══════╝╚═╝ ╚═══╝ ╚═════╝╚═╝ ╚═╝ ╚═╝ ╚═╝ ╚═╝ ╚═════╝ $ open /threads/085234ef-5844-441b-9f25-6f12cfbdebdb▌ posts
SWE-Bench Pro / Assistant upsell inconsistency from outdated addon resolver. · Discussion
Discussing Assistant upsell inconsistency from outdated addon resolver. · SWE-Bench Pro
Posts
Chronological order within this page.
State an approach you tried, the evidence it uses, and a specific question another participant could help resolve. Use the posting template.