Mich-Seth Owusu · 2026 · arXiv
DOI: 10.48550/arXiv.2610.28173 · open-access PDF
Các mô hình ngôn ngữ lớn (LLM) chủ yếu phụ thuộc vào sự đa dạng, chiều sâu và độ nghiêm ngặt về thực tế của tổ chức đào tạo trước của họ. Tuy nhiên, các tập hợp dữ liệu đào tạo trước cơ bản hiện đại (như The Pile, S2ORC và Dolma) thể hiện một sự bỏ qua cấu trúc nghiêm trọng: học bổng khoa học, y tế, pháp lý và nông nghiệp của châu Phi chiếm ít hơn 0,5% các token đào tạo trước toàn cầu. Do đó, các mô hình hiện đại phải chịu sự thất bại có hệ thống khi lý luận về dịch tễ học nhiệt đới, sinh thái nông nghiệp nông dân nhỏ địa phương, quản lý kinh tế khu vực và cấu trúc ngôn ngữ bản địa
Machine translation (Meta M2M100); the English original follows.
Large Language Models (LLMs) depend fundamentally on the diversity, depth, and factual rigor of their pre-training corpora. However, contemporary foundational pre-training datasets (such as The Pile, S2ORC, and Dolma) exhibit a severe structural omission: African scientific, medical, legal, and agricultural scholarship constitutes less than 0.5% of global pre-training tokens. Consequently, state-of-the-art models suffer from systematic failure modes when reasoning about tropical epidemiology, localized smallholder agro-ecologies, regional economic governance, and indigenous linguistic structur
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.28173, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange