Marek Šuppa, Ivan Vykopal, Jaroslav Kopčan · 2026 · arXiv
DOI: 10.48550/arXiv.2610.31636 · open-access PDF
FineWeb2のような多言語パイプラインは、1000の言語で1つのレシピを適用し、個々の言語の失敗モードを予期せず使用します。私たちは、カリキュラムではなくcorpus debuggerとして、LLMを1回使用します:ツールを使用するエージェントは、単に読むだけで予算化されたAPIを通じてcorpusを探索し、実行可能なテストに各発見をまとめ、それからネイティブスピーカーが検証します。FineWeb2の265Mドキュメントのスロバキア部分で、3回は、それぞれ4つの現象で7つの発見を発見しました。最大のものは1408,437のドキュメント(5.32%)の機械生成コンテンツ農場です。
Machine translation (Meta M2M100); the English original follows.
Multilingual pipelines such as FineWeb2 apply one recipe across a thousand languages, leaving the failure modes of individual languages unanticipated. We use an LLM once, as a corpus debugger rather than a classifier: a tool-using agent explores the corpus through a read-only, budgeted API and compiles each finding into an executable test, which a native speaker then validates. On the 26.5M-document Slovak portion of FineWeb2, three runs costing \$2.21-\$2.84 each found seven findings over four phenomena. The largest is a machine-generated content farm of 1,408,437 documents (5.32%) that passe
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.31636, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange