Newest papers

Towards Architectural-Level Safety Control: Relocating Hazardous Knowledge into Removable Experts in Mixture-of-Experts Models

Cheng Jin, Zhongtian Ma, Xiao Wang, Han Qi, Xiaoyu Wen, Xiang Wang, Youbang Sun, Xia Hu, Bowen Zhou, Chaochao Lu, Qiaosheng Zhang · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.25791 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Các mô hình loại bỏ ngôn ngữ lớn có được kiến thức rộng rãi từ các cơ quan quy mô web trong quá trình đào tạo trước, bao gồm cả kiến thức có thể gây nguy hiểm nếu bị lạm dụng. Loại bỏ kiến thức đó từ mô hình mà không làm suy yếu khả năng tổng thể là mong muốn nhưng khó khăn, vì nó được nhúng sâu vào khả năng tổng quát trong cùng các thông số. Để giải quyết giới hạn này, chúng tôi đề xuất REX (Relocating into Removable EXperts), một phương pháp chuyển đổi kiến thức thường điều chỉnh các thông số được chia sẻ, có xu hướng ngăn chặn sự biểu hiện của kiến thức nguy hiểm ở cấp cơ bản thay vì loại bỏ nó. Kết quả là, kiến thức này vẫn còn trong mô hình và có thể dễ dàng phục hồi bằng cách chỉnh sửa kỹ lưỡng sau đó. Để giải quyết giới hạn này, chúng tôi đề xuất REX (

Machine translation (Meta M2M100); the English original follows.

Abstract

Large language models acquire broad knowledge from web-scale corpora during pretraining, including knowledge that could be hazardous if misused. Removing such knowledge from the model itself without degrading general capability is desirable but difficult, as it is deeply entangled with general capability within the same parameters. Existing safety alignment and unlearning methods typically adjust these shared parameters, tending to suppress the expression of hazardous knowledge rather than remove it. As a result, the knowledge remains in the model and is readily recoverable by subsequent fine-tuning. To address this limitation, we propose REX (Relocating into Removable EXperts), a knowledge relocation method that separates hazardous knowledge from general capability at the architectural level. Exploiting the modular structure of Mixture-of-Experts models, REX expands the model with a set of new, physically removable experts designated to hold hazardous knowledge. Through expert expansion, selective gradient masking and routing differentiation, it relocates hazardous knowledge out of the original experts and concentrates it in the new ones. Excising these new experts yields a model suitable for public release. This removal holds consistently across Intern-S2, Qwen3.5-35B-A3B and Gemma-4-26B-A4B; on Qwen3.5-35B-A3B, for instance, excision lowers WMDP-Bio accuracy by 48.4 points while MMLU changes by less than 3 points. The excised model matches the strongest of nine unlearning baselines in removing hazardous knowledge, and it is the only one that preserves this removal under subsequent fine-tuning. After 250M tokens of standard fine-tuning on Qwen3.5, the best baseline rebounds on WMDP-Bio from 44.1% to 78.3%, whereas REX rises only from 32.4% to 42.8%.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Hazardous waste, Computer science, Masking (illustration), Set (abstract data type), Modular design, Relocation

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange