Newest papers

Beyond Leaderboards: A Method for Application-Specific Capability Profiling of Large Language Models

Oleg Grynets, Vasyl Lyashkevych, Andrii Salyk, Dmytro Koziuberda, Dmytro Kostetskyi, Oleh Kaskun, Olena Pochernina, Alona Seletska, Oleksii Ilchuk, Viktoriia Tsymbal, Daryna Tukalo, Bohdan Saukh, Ivan V. Fedorchuk, Hryhorii Petrenko · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.25659 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Báo cáo này trình bày một phương pháp cấu hình khả năng ứng dụng cụ thể của LLMs và thực hiện nó như một phòng thí nghiệm chứa. Phương pháp này xử lý mỗi ứng dụng như một đơn vị mở rộng: một đại lý di chuyển Oracle-to-PostgreSQL, một chatbot dựa trên tài liệu hoặc một đại lý hệ thống tự động hóa hỗ trợ doanh nghiệp chạy trong container của riêng mình đằng sau một hợp đồng nhỏ, mang lại bộ dữ liệu riêng, đánh giá và các thuộc tính thuộc sở hữu của nó, và được đưa lên tàu cùng với bảng điều khiển của nó. Các phép đo tích lũy trong một phiên bản, mô hình phân rã của mỗi mô hình. Các phương pháp này tách mô hình đang được thử nghiệm khỏi các thẩm phán và các đại lý, đóng băng các thí nghiệm và kế hoạch cơ sở dữ liệu, từ chối so sánh các giá trị từ các b

Machine translation (Meta M2M100); the English original follows.

Abstract

Public leaderboards rank large language models (LLMs) in general, but an engineer has to choose a model for a specific application, architecture and cost. This paper presents a method for application-specific capability profiling of LLMs and its realization as a containerized testbed. The method treats each application as a unit of extension: an Oracle-to-PostgreSQL migration agent, a documentation-grounded chatbot or an enterprise-support automation agent runs in its own container behind a small contract, brings its own dataset, evaluator and owned attributes, and is onboarded together with its dashboards. Measurements accumulate in a versioned, sparse metamodel of every model. The method separates the model under test from judges and agents, freezes and hashes plans, refuses to compare values from different contexts, diagnoses the instrument before the system, and applies a null-agent check and a noise rule whose operating characteristics are quantified by simulation. In the evaluated automation conditions, model choices produced larger differences on selected observable outcomes than framework choices, although the experimental design does not establish a general causal ranking of these factors. The experiments also show that instruction tuning is deployment-specific and that system-reported success can exceed independently observed success: of 216 migration units checked against a real Oracle database, 108 were demonstrably correct. These measurements establish application-specific observations, not a universal model ranking.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Computer science, Automation, Oracle, Profiling (computer programming), Metamodeling, Reuse

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange