Newest papers

recAMPLIFY: Large-Scale Pretraining of Recursive Protein Language Models

Saurav Jha, Qianli Liao, Robert Vernon, Sarath Chandar, Quentin Fournier · 2026 · arXiv

DOI: 10.48550/arXiv.2610.26747 · open-access PDF

Korean

단백질 언어 모델 (pLMs)은 단백질 항목 및 돌연변이 효과 예측을위한 강력한 도구이지만, 진전은 모델 크기와 데이터를 확장하는 것에 크게 의존하여 비용이 많이 들고 기억에 취약합니다. 테스트 시간 스케일링은 보완 경로를 제공하지만, 자극적 LLMs를위한 개발 된 방법은 직접 전송되지 않습니다 : 마스크 인코더는 생성 루프가 부족하며 아미노산은 논리 언어로 언어화되지 않습니다. 대신, 우리는 마스크 된 pLMs에 복구적 인 사전 훈련을 적응합니다.

Machine translation (Meta M2M100); the English original follows.

Abstract

Protein language models (pLMs) are powerful tools for protein annotation and mutation-effect prediction, but progress has largely depended on scaling model size and data, making them expensive and prone to memorization. Test-time scaling offers a complementary path, but methods developed for autoregressive LLMs do not transfer directly: masked encoders lack a generation loop, and amino acids do not verbalize in a reasoning language. Instead, we adapt recursive pretraining to masked pLMs, where a weight-tied Transformer core refines residue-aligned hidden states over an adjustable number of cyc

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange