Newest papers

Benchmarking Arabic Dialects for Math Problems

Noor Abo Mokh, Teresa Lynn, Nizar Habash, Ahmed Elshabrawy, Sara Alhajeri, Alaa Elsetohy, Preslav Nakov, Alham Fikri Aji · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28607 · open-access PDF

Hindi

कम संसाधन भाषाओं के लिए गणितीय तर्क का पता नहीं चल पाया गया है, जिसमें दार्जिल अरबी शामिल है. इस अंतर को पुल करने के लिए, हम DAR-MGSM (दार्जिल अरबी बहुभाषी ग्रेड स्कूल गणित) बेंचमार्क, दार्जिल अरबी में गणितीय तर्क का मूल्यांकन करने के लिए पहला मैन्युअल रूप से क्यूरेटेड बेंचमार्क पेश करते हैं. DAR-MGSM गणितीय शब्द समस्याओं (MWPs) से बना है जो बहु-चरण तर्क की आवश्यकता होती है और आधुनिक मानक अरबी (एमएसए) के साथ पांच प्रमुख अरबी बेंचमार्क को कवर करता है. बेंचमार्क में दो समानांतर संस्करण शामिल हैं: अनुवादित-केवल और अनुवादित

Machine translation (Meta M2M100); the English original follows.

Abstract

Mathematical reasoning remains underexplored for low-resource languages, including Dialectal Arabic. To bridge this gap, we introduce the DAR-MGSM (Dialectal Arabic Multilingual Grade School Math) Benchmark, the first manually curated benchmark for evaluating mathematical reasoning in Dialectal Arabic. DAR-MGSM consists of math word problems (MWPs) requiring multi-step reasoning and covers five major Arabic dialects alongside Modern Standard Arabic (MSA). The benchmark comprises two parallel versions: translated-only and translated & culturally localized. The latter version adapts entities

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Is this paper real? This page was built from OpenAlex and arXiv records, not generated. Software can verify any reference in one call: GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.28607, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txt

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange