Newest papers

ProtModernBERT: Compute-Efficient Protein Language Modeling

Alberto Martínez, Natalia Flechas Manrique, Llorenç Espinosa-Portalés, Luc Andrea · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.19738 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Các mô hình ngôn ngữ protein lớn cung cấp một khuôn khổ dữ liệu mạnh mẽ cho việc học các mối quan hệ chuỗi-chức năng và hướng dẫn thiết kế thực nghiệm. Tuy nhiên, những cải tiến kiến trúc chưa được khám phá, đặc biệt là trong các chế độ tính toán thấp có liên quan đến các phòng thí nghiệm nghiên cứu hạn chế tài nguyên. Chúng tôi cho thấy rằng chi phí đào tạo cho các kiến trúc chuyển đổi chỉ mã hóa có thể được giảm bớt bằng cách tận dụng các công việc kiến trúc hiện đại, cung cấp một sự cân bằng hiệu suất / hiệu quả tính toán đáng khích lệ. Chúng tôi giới thiệu ProtModernBERT, một mô hình BERT hiện đại được đào tạo trước về chuỗi axit amin, và so sánh nó với ProtBert, Amplify, và ESM2 trên một tập hợp các nhiệm vụ cấu trúc được giám sát - so sánh dự đoán cấu trúc thứ cấp,

Machine translation (Meta M2M100); the English original follows.

Abstract

Large protein language models provide a powerful framework for learning sequence-function relationships and guiding experimental design. However, architectural improvements are underexplored, especially in low-compute regimes of relevance for resource-constrained research laboratories. We show that the training cost for encoder-only transformer architectures can be reduced by leveraging modern architectural refinements, offering an encouraging performance / compute-efficiency trade-off. We introduce ProtModernBERT, a modernized BERT-style model pre-trained on amino acid sequences, and compare it with ProtBert, Amplify, and ESM2 across a set of supervised structural tasks -encompassing secondary structure prediction, disorder prediction, and subcellular localization- and ProteinGym's zero-shot functional benchmark. We find that ProtModernBERT matches or closely tracks the performance of Amplify-120M and ProtBert with up to 80-90\% reduction in pre-training FLOPs, and narrows the gap to ESM2 when controlling for pre-training. Our analysis using a cluster-based validation protocol for hyperparameter selection and randomly initialized models disentangles the contributions of architecture and data, showing that modern components provide stronger inductive biases that are more consequential than parameter count in low-compute regimes.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Artificial intelligence, Hyperparameter, Machine learning, Relevance (law), Selection (genetic algorithm)

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange