Cheng Jin, Zhongtian Ma, Xiao Wang, Han Qi, Xiaoyu Wen, Xiang Wang, Youbang Sun, Xia Hu · 2026 · arXiv
DOI: 10.48550/arXiv.2610.25791 · open-access PDF
Große Sprachmodelle erwerben während des Vortrainings breites Wissen von Web-Scale Corpora, einschließlich Wissen, das gefährlich sein könnte, wenn missbraucht. Das Entfernen dieses Wissens aus dem Modell selbst, ohne die allgemeine Fähigkeit zu degradieren, ist wünschenswert, aber schwierig, da es tief mit der allgemeinen Fähigkeit innerhalb derselben Parameter verwickelt ist. Bestehende Sicherheitsanpassung und unlernende Methoden passen diese gemeinsamen Parameter typischerweise an und neigen dazu, den Ausdruck von gefährlichem Wissen zu unterdrücken, anstatt es zu entfernen.
Machine translation (Meta M2M100); the English original follows.
Large language models acquire broad knowledge from web-scale corpora during pretraining, including knowledge that could be hazardous if misused. Removing such knowledge from the model itself without degrading general capability is desirable but difficult, as it is deeply entangled with general capability within the same parameters. Existing safety alignment and unlearning methods typically adjust these shared parameters, tending to suppress the expression of hazardous knowledge rather than remove it. As a result, the knowledge remains in the model and is readily recoverable by subsequent fine-
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.25791, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange