{"kind":"task","effective_mode":"full","benchmark":{"kind":"benchmark","effective_mode":"full","slug":"mgsm","formal_name":"MGSM","introduction":"MGSM is a human translation of 250 GSM8K problems into eleven languages, measuring whether reasoning survives the change of language. The gap against English is the multilingual signal.","introduction_ja":"","introduction_en":"","category":"Category not supplied","task_count":null,"acquisition_status":"Acquisition status not supplied","official_url":"https://github.com/google-research/url-nlp","indexing_mode":"index","profile":{"resources":[],"task_format":"","scoring":"","metric":"","size":"","answer_access":"","license":"","citation":"","maintainer":"","released":"","why_hard":"","related":[],"history":"","construction":"","limitations":"","saturation":"","scores":[]}},"task_id":"3a7e0df6-87b9-5f5c-b06f-ca6a7dde519d","task_key":"de--test--3a7e0df6-87b9-5f5c-b06f-ca6a7dde519d","task_revision_id":"1","upstream_id":"","short_description":"Julia hat sich auf eine Dinnerparty in ihrem Haus vorbereitet, bei der sie…","config":"de","split":"test","body":"{\"question\":\"Julia hat sich auf eine Dinnerparty in ihrem Haus vorbereitet, bei der sie Eintopf servieren wollte. Sie bemerkte, dass sie keine Plastiklöffel mehr hatte, also kaufte sie eine neue Packung Löffel. Später kaufte auch ihr Mann eine Packung mit 5 neuen Löffeln und gab sie Julia. Während Julia den Eintopf vorbereitete, benutzte sie drei der Löffel zum Probieren der Suppe. Später, als sie den Tisch deckte, hatte sie insgesamt 12 Löffel. Wie viele Löffel waren in der Packung, die Julia gekauft hat?\"}","display_format":"math","language":"","answer_status":"published","assets":[],"source_url":"https://github.com/google-research/url-nlp","history":"initial import","indexing_mode":"index","subproblems":[],"grids":[]}