{"kind":"task","effective_mode":"full","benchmark":{"kind":"benchmark","effective_mode":"full","slug":"mgsm","formal_name":"MGSM","introduction":"MGSM is a human translation of 250 GSM8K problems into eleven languages, measuring whether reasoning survives the change of language. The gap against English is the multilingual signal.","introduction_ja":"","introduction_en":"","category":"Category not supplied","task_count":null,"acquisition_status":"Acquisition status not supplied","official_url":"https://github.com/google-research/url-nlp","indexing_mode":"index","profile":{"resources":[],"task_format":"","scoring":"","metric":"","size":"","answer_access":"","license":"","citation":"","maintainer":"","released":"","why_hard":"","related":[],"history":"","construction":"","limitations":"","saturation":"","scores":[]}},"task_id":"1cfb5524-1bbc-532b-a90d-3c2a23384786","task_key":"ru--test--1cfb5524-1bbc-532b-a90d-3c2a23384786","task_revision_id":"1","upstream_id":"","short_description":"Великий дракон Перг сидел на вершине горы Фарбо, изрыгая огонь на все вокруг на…","config":"ru","split":"test","body":"{\"question\":\"Великий дракон Перг сидел на вершине горы Фарбо, изрыгая огонь на все вокруг на расстоянии 1000 футов. Полли могла бросить золотое копье, единственное известное оружие, способное сразить дракона, на расстояние 400 футов, что было в пределах досягаемости пламени дракона. Но когда Полли держала драгоценный камень сапфир, она могла бросить копье в три раза дальше, чем когда не держала драгоценный камень. Если она держала драгоценный камень, как далеко за пределами досягаемости пламени дракона могла стоять Полли и все равно поразить дракона золотым копьем?\"}","display_format":"math","language":"","answer_status":"published","assets":[],"source_url":"https://github.com/google-research/url-nlp","history":"initial import","indexing_mode":"index","subproblems":[],"grids":[]}