Newest papers

The Effectiveness and Durability of Pretraining Data Filtering in Protein Language Models

Aaron Maiwald, Roderick McNeill, 이재영, Matthew A. Clarke, Lennart J. Justen, Alejandro Acelas, Ivo Andrews, Giles Harper-Donnelly, Adam Moore, Sophie Rose, Oliver M. Crook, Felix Jackson · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.26651 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Bộ lọc dữ liệu trước khi đào tạo là một trong những biện pháp bảo vệ phổ biến nhất cho các mô hình ngôn ngữ mở. Ở đây chúng tôi nghiên cứu hiệu quả, độ bền và khả năng mở rộng của nó bằng cách sử dụng các mô hình ngôn ngữ protein ESM-2. Chúng tôi thấy rằng lọc protein virus từ dữ liệu trước khi đào tạo làm suy yếu đáng kể mô hình ngôn ngữ ẩn, dự đoán hiệu ứng đột biến và dự đoán tiếp xúc tầm xa trên protein virus, trong khi chủ yếu bảo tồn hiệu suất trên protein không phải virus. Những hiệu ứng này được tập trung giữa các protein từ virus lây nhiễm con người và phát triển khi chúng tôi quy mô mô từ các thông số 8M đến 3B. Khi các mô hình tăng kích thước, chúng tôi thấy rằng lọc chuỗi trở nên hiệu quả hơn. Tuy nhiên, điều chỉnh tốt trên các chuỗi từ các gia đình virus đã loại bỏ khôi phục lại hiệu suất bị

Machine translation (Meta M2M100); the English original follows.

Abstract

Pretraining filtering is one of the most common safeguards for open-weight language models. Here we study its effectiveness, durability and scalability using the ESM-2 family of protein language models. We find that filtering viral proteins from the pretraining data meaningfully degrades masked language modelling, mutation effect prediction and long-range contact prediction on viral proteins, while largely preserving performance on non-viral proteins. These effects are concentrated among proteins from human-infecting viruses, and grow as we scale models from 8M to 3B parameters. As models increase in size, we find that stringent filtering becomes more effective. However, fine-tuning on sequences from the removed viral families restores the lost performance. Although the cost to recover performance increases with model scale, even for the largest models it costs about 80 USD of H100 time. This work establishes pretraining filtering as moderately effective at selectively degrading performance on viral proteins, but not durable against fine-tuning with modest computational resources and access to relevant data.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Scalability, Computer science, Language model, Durability, Artificial intelligence, Scale (ratio)

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange