Newest papers

Can Language Models Get "Aphasia" From Neuronal Ablation?

Pratik Worah, Randall Bateman · 2026 · arXiv

DOI: 10.48550/arXiv.2610.28214 · open-access PDF

Vietnamese

Mất thần kinh tiến bộ là dấu hiệu của bệnh thoái hóa thần kinh, tuy nhiên làm thế nào sự mất mát của tế bào thần kinh hình thành mô hình suy giảm nhận thức vẫn còn kém hiểu. Ở đây chúng ta có hệ thống làm dịu các tế bào thần kinh (đơn vị tính toán) trong các mô hình ngôn ngữ bao gồm bộ nhớ ngắn hạn lặp đi lặp lại (LSTM) và kiến trúc Transformers và áp dụng điều chỉnh tinh tế hạn chế như một giao diện đơn giản cho tính dẻo dai. Với toàn bộ đơn vị xóa bỏ, LSTMs giảm dần với các năng lực tổng hợp và ngữ nghĩa giảm song song song trên thiệt hại nhẹ đến trung bình. Ngược lại, Transformers hiển thị sự sụp đổ như ngưỡng muộn

Machine translation (Meta M2M100); the English original follows.

Abstract

Progressive neuronal loss is the hallmark of neurodegenerative disease, yet how loss of neurons shapes the pattern of cognitive decline remains poorly understood. Here we systematically ablate neurons (computational units) in language models spanning recurrent long short-term memory (LSTM) and Transformer architectures and apply limited fine-tuning as a simple proxy for compensatory plasticity. With whole-unit ablation, LSTMs degrade gradually with syntactic and semantic faculties declining in parallel across mild-to-moderate damage. By contrast, Transformers exhibit late threshold-like collap

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange