Newest papers

Benchmarking Large Language Models for Detecting Satirical Code-Mixed Sentences

Răzvan-Alexandru Smădu, Ioana Buhnila, Daniela Tănase, Dumitru-Clementin Cercel, Florin Pop, Mihaela-Claudia Cercel · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.29907 · cited by 0 works (OpenAlex) · open-access PDF

Arabic

وتتضمن هذه المبادرة العديد من المبادرات المتعلقة بتطوير اللغات الطبيعية مثل اكتشاف الصوت، ولكنها تعتمد بشكل كبير على أدوات الثقافية والتصميمية المتنوعة التي يواجهها النماذج الكبيرة من اللغات. في هذه المقالة، نحن نبحث عن أربعة طرق (على سبيل المثال، استبدال الصوت على نطاق واسع، تحويل النصوص على نطاق واسع، نموذج اللغات الكبيرة) لإنتاج عبارات رومانسيية متماثلة باللغة الإنجليزية، الإنجليزية، الفرنسية، الإيطالية. ونحن نبدأ مع مجموعة من البيانات الموجودة على اكتشاف الصوت، التي يتم جمعها من مقالات الأخبار الروسية، وتحديدها على مستوى الصيغة من قبل البشر،

Machine translation (Meta M2M100); the English original follows.

Abstract

Code-switching is a natural linguistic phenomenon, yet its impact on high-level reasoning tasks remains largely unexplored in under-resourced languages like Romanian. Natural language processing tasks, such as satire detection, rely heavily on nuanced cultural and syntactic cues that large language models struggle to capture. In this paper, we investigate four methods (i.e., random replacement, phrase translation, dependency parsing, and large language models) for generating synthetic code-mixed Romanian sentences with English, German, French, and Italian. We start with an existing dataset for satire detection, compiled from Romanian news articles and annotated at the sentence level by humans, and augment it with over 600k samples, namely CS-SeLeRoSa. We provide an in-depth analysis of the dataset generation process. Then, we evaluate several multilingual large language models across zero-shot, chain-of-thought, and fine-tuning regimes on both the synthetic corpus and a human-adjudicated gold benchmark, namely CS-SeLeRoSa-Gold. While older open models suffer substantial degradation (dropping to 37%-55% macro-F1), newer models like Gemma 4 31B achieve 68.1% zero-shot, rivaling frontier models like GPT-5 mini (69.5%). Furthermore, fine-tuning significantly reduces formatting errors and improves the results, increasing Gemma 4 31B to 77.5% on CS-SeLeRoSa and 72.6% on the gold standard, outperforming frontier zero-shot baselines.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Natural language processing, Artificial intelligence, Language model, Sentence, Phrase

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange