Newest papers

LG-Bench: A Graph-Structured Evaluation Benchmark for Life Sciences

Lu Sun, Xiangyi Zhang, Xiangyang Zhu, Kaiyuan Ji, Zijian Chen, Qiang Hu, Zicheng Zhang, Yuan Tian, Guangtao Zhai · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.26787 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Các tiêu chuẩn đánh giá truyền thống làm giảm kiến thức khoa học có liên quan trong khoa học đời sống thành các danh sách câu hỏi phẳng, bỏ qua cấu trúc topological cơ bản của kiến thức. Chúng tôi giới thiệu, tiêu chuẩn tiêu chuẩn cấu trúc đồ thị đầu tiên cho khoa học đời sống, với hơn 10.000 câu hỏi đa lựa chọn chất lượng cao trên khắp y học, sinh học và hóa học. Cách tiếp cận của chúng tôi xây dựng một biểu đồ đánh giá cân bằng bằng cách sử dụng các thuật toán phù hợp hai chiều và điểm tương đồng ngữ nghĩa, nơi các nút đại diện cho các câu hỏi và trọng lượng cạnh nắm bắt mối quan hệ ngữ nghĩa của họ. Sử dụng topology đồ thị này, chúng tôi thiết kế hai thước đo đánh giá mới. Điểm kết hợp toàn cầu (GCS) đo độ nhất quán của một mô hình trong các khu vực có liên quan về ngữ nghĩa, trong khi Điểm cân bằng tri thức (

Machine translation (Meta M2M100); the English original follows.

Abstract

Traditional evaluation benchmarks reduce inherently interconnected scientific knowledge in life sciences into flat lists of questions, disregarding the underlying topological structure of the knowledge. We introduce, the first graph-structured benchmark for life sciences, featuring over 10,000 high-quality multiple-choice questions across medicine, biology, and chemistry. Our approach constructs a weighted evaluation graph using bidirectional matching and semantic similarity algorithms, where nodes represent questions and edge weights capture their semantic relationships. Leveraging this graph topology, we design two novel evaluation metrics. The Global Coherence Score (GCS) measures a model's consistency within semantically related neighborhoods, while Knowledge Balance Score (KBS) analyzes how model errors are distributed across the graph to reveal conceptual blind spots. LG-Bench facilitates fine-grained comparison of LLMs by surfacing differences in conceptual coherence and patterns of knowledge organization across models. Our framework shifts the evaluation paradigm from flat accuracy metrics to structure-aware analysis, offering a new lens for diagnosing and improving LLM performance in the life sciences domain.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Benchmark (surveying), Consistency (knowledge bases), Graph, Coherence (philosophical gambling strategy), Matching (statistics)

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange