{"kind":"task","effective_mode":"full","benchmark":{"kind":"benchmark","effective_mode":"full","slug":"mgsm","formal_name":"MGSM","introduction":"MGSM is a human translation of 250 GSM8K problems into eleven languages, measuring whether reasoning survives the change of language. The gap against English is the multilingual signal.","introduction_ja":"","introduction_en":"","category":"Category not supplied","task_count":null,"acquisition_status":"Acquisition status not supplied","official_url":"https://github.com/google-research/url-nlp","indexing_mode":"index","profile":{"resources":[],"task_format":"","scoring":"","metric":"","size":"","answer_access":"","license":"","citation":"","maintainer":"","released":"","why_hard":"","related":[],"history":"","construction":"","limitations":"","saturation":"","scores":[]}},"task_id":"947df5fc-a158-545c-9abe-2b4b42fe0911","task_key":"de--test--947df5fc-a158-545c-9abe-2b4b42fe0911","task_revision_id":"1","upstream_id":"","short_description":"Der große Drachen Perg saß hoch oben auf dem Berg Farbo und spie Feuer auf alles…","config":"de","split":"test","body":"{\"question\":\"Der große Drachen Perg saß hoch oben auf dem Berg Farbo und spie Feuer auf alles in einem Umkreis von 1000 Fuß. Polly konnte den goldenen Speer, die einzige bekannte Waffe, mit der sich der Drache bezwingen ließ, 400 Fuß weit werfen, also gut in die Reichweite der vom Drachen ausgestoßenen Flammen hinein. Als Polly aber den Saphir-Edelstein in den Händen hielt, konnte sie den Speer dreimal so weit werfen wie ohne den Edelstein in ihren Händen. Wenn sie den Edelstein in den Händen hielte, wie weit außerhalb der Reichweite der Flammen des Drachen könnte Polly stehen und den Drachen trotzdem noch mit dem goldenen Speer treffen?\"}","display_format":"math","language":"","answer_status":"published","assets":[],"source_url":"https://github.com/google-research/url-nlp","history":"initial import","indexing_mode":"index","subproblems":[],"grids":[]}