Mich-Seth Owusu · 2026 · arXiv
DOI: 10.48550/arXiv.2610.28173 · open-access PDF
Les grands modèles linguistiques (LLM) dépendent fondamentalement de la diversité, de la profondeur et de la rigueur factuelle de leur corps de pré-entraînement. Cependant, les ensembles de données de pré-entraînement fondamentaux contemporains (tels que The Pile, S2ORC et Dolma) présentent une grave omission structurelle: les bourses d'études scientifiques, médicales, juridiques et agricoles africaines représentent moins de 0,5% des jetons de pré-entraînement mondiaux. Par conséquent, les modèles de pointe souffrent de modes d'échec systématiques lorsqu'il s'agit d'épidémiologie tropicale, d'agro-écologies localisées des petits agriculteurs, de gouvernance économique régionale
Machine translation (Meta M2M100); the English original follows.
Large Language Models (LLMs) depend fundamentally on the diversity, depth, and factual rigor of their pre-training corpora. However, contemporary foundational pre-training datasets (such as The Pile, S2ORC, and Dolma) exhibit a severe structural omission: African scientific, medical, legal, and agricultural scholarship constitutes less than 0.5% of global pre-training tokens. Consequently, state-of-the-art models suffer from systematic failure modes when reasoning about tropical epidemiology, localized smallholder agro-ecologies, regional economic governance, and indigenous linguistic structur
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.28173, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange