OmicsBench: một tiêu chuẩn đa hướng dài hạn của các đại lý AI trên nghiên cứu-nghiên cứu quy mô bioinformatics / OmicsBench: a long-horizon multi-turn benchmark of AI agents on research-study-scale bioinformatics (2026) (Vietnamese)

Các nhà sinh học tính toán ngày càng chuyển giao phân tích đáng kể cho các đại lý AI trong các phiên tầm xa, nhiều lượt, nhưng hầu hết các tiêu chuẩn về khả năng bioinformatics của các đại lý đặt ra một nhiệm vụ ngắn duy nhất với một lời nhắc chụp duy nhất. Chúng tôi trình bày OmicsBench, một tiêu chuẩn phân tích thông tin sinh học theo chiều dài, nhiều lượt cho các đại lý AI. Mỗi trong số 97 nhiệm vụ của nó liên kết các phụ tùng phụ thuộc vào một biểu đồ acyclic được chỉ định, cho 662 phụ tùng cơ bản trong tổng số. Mỗi phụ tùng được đặt như một người dùng quay và xếp hạng theo định nghĩa chống lại một phím trả lời, với phản hồi trong ngữ cảnh tùy chọn về các câu trả lời không chính xác. Trên 12 mô hình trên ba pipnesses, trung bình trung bình của các đại lý chậm nhất là 3,6 giờ cho mỗi

Abstract

Computational biologists increasingly delegate substantial analyses to AI agents in long-horizon, multi-turn sessions, yet most benchmarks of agents' bioinformatics capabilities pose a single short task with a single-shot prompt. We present OmicsBench, a long-horizon, multi-turn bioinformatics benchmark for AI agents. Each of its 97 tasks links dependent subtasks into a directed acyclic graph, for 662 underlying subtasks in all. Each subtask is posed as one user turn and graded deterministically against an answer key, with optional in-context feedback on incorrect answers. Across 12 models on three harnesses, the slowest agent averages 3.6 hours per task, and no combination comes near saturating the benchmark, with mean scores of 0.43 to 0.57 out of a possible 1 without in-context feedback and 0.54 to 0.67 with it. Multi-turn evaluation also uncovers behavior that single-shot prompts cannot, as agents score lower on subtasks that depend on earlier subtasks, and in-context feedback helps agents recover some of that loss. Because deterministic scoring gives no qualitative account of how an agent failed, we also introduce an unsupervised failure mode discovery pipeline that describes, embeds, and clusters agents' failed attempts to surface emergent failure modes. Applied to OmicsBench, this pipeline exposes qualitative shortcomings in how agents carry out bioinformatics analyses, ranging from agents applying their own statistical filters in place of the specified ones to agents writing whole answers from memory.

Topics: Delegate, Benchmark (surveying), Pipeline (software), Computer science, Task (project management), Artificial intelligence

Is this paper real? This page was built from OpenAlex and arXiv records, not generated. Software can verify any reference in one call: GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.21074, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txt