Newest papers

Commit or Abstain? System One Decision Models, LLMs, and Missing Legal Authority

M. Mikail Demir · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.29961 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Với số lượng lớn các yêu cầu phải được kiểm tra, AI pháp lý có thể xác minh đòi hỏi các mô hình có thể mở rộng, hiệu quả chi phí đáp ứng nhu cầu thực tế của pháp luật. Các mô hình quyết định Hệ thống Một được xây dựng trên các mô hình ngôn ngữ lớn nhưng, thay vì tạo văn bản, trả về một xác suất được điều chỉnh cho mỗi tùy chọn. Điều này phù hợp với việc xác minh thẩm quyền pháp lý, nơi câu hỏi được đóng: một nắm giữ nhất định, hoặc không có trong số họ. Chúng tôi kiểm tra xem các mô hình như vậy có tránh được khi thiếu thẩm quyền chính xác không. Chúng tôi mở rộng CaseHOLD với một điều kiện từ chối trong đó nắm giữ chính xác được thay thế bằng 1.670 trong số 5.314 mục, và so sánh bốn mô hình quyết định với sáu LLMs tạo ra. Khi không có lựa chọn nào là chính xác,

Machine translation (Meta M2M100); the English original follows.

Abstract

Given the enormous number of claims to be checked, verifiable legal AI requires scalable, cost-effective models that answer the practical needs of law. System One decision models are built on large language models but, instead of generating text, return a calibrated probability for each option. This suits the verification of legal authority, where the question is closed: a given holding, or none of them. We test whether such models abstain when the correct authority is missing. We extend CaseHOLD with an abstention condition in which the correct holding is replaced in 1,670 of 5,314 items, and compare four decision models with six generative LLMs. When no option is correct, generative LLMs still pick one in 38-86% of items; the most cautious decision model does so in 30%. On standard CaseHOLD, a decision model matches the best generative LLM (88.1% vs. 88.2%) at 1/55 of the cost. Accepting that LLM's answer only when a decision model agrees halves its wrong citations, and distilling a decision model's probabilities into Qwen3-8B, without labels, yields a well-calibrated local model. Legal AI should be judged by its wrong citations, not by accuracy alone.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Commit, Computer science, Generative grammar, Decision model, Verifiable secret sharing, Decision analysis

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange