Mich-Seth Owusu · 2026 · arXiv
DOI: 10.48550/arXiv.2610.28173 · open-access PDF
تعتمد النماذج اللغوية الكبيرة (LLMs) بشكل أساسي على تنوعها ومتنوعها ومكثفها الفعلي في منظومة التدريب المبكر. ومع ذلك، فإن مجموعات بيانات التدريب المبكر المعاصرة المعاصرة (مثل The Pile، S2ORC، و Dolma) تظهر إزعاجًا جذريًا: تشكل البكالوريوس العلمي، الطبية، القانوني، والزراعي في أفريقيا أقل من 0.5% من تكنولوجيات التدريب المبكر العالمية. وبالتالي فإن النماذج الأكثر تطورًا تعاني من عواقب خطيرة عند التفكير حول الأمراض المزمنة، والزراعات الصغيرة المحلية، والسلطة الاقتصادية الإقليمية، والهيكل اللغوي الأصلي.
Machine translation (Meta M2M100); the English original follows.
Large Language Models (LLMs) depend fundamentally on the diversity, depth, and factual rigor of their pre-training corpora. However, contemporary foundational pre-training datasets (such as The Pile, S2ORC, and Dolma) exhibit a severe structural omission: African scientific, medical, legal, and agricultural scholarship constitutes less than 0.5% of global pre-training tokens. Consequently, state-of-the-art models suffer from systematic failure modes when reasoning about tropical epidemiology, localized smallholder agro-ecologies, regional economic governance, and indigenous linguistic structur
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.28173, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange