Nada Zine, Matias Martinez, Romain Rouvoy, Clément Quinton · 2026 · arXiv
DOI: 10.48550/arXiv.2610.27945 · open-access PDF
LLMs ngày càng được tích hợp vào các hệ thống phần mềm, làm cho việc triển khai và cấu hình suy luận trở thành một nhiệm vụ kỹ thuật phần mềm tái diễn. Inference backends phơi bày nhiều lựa chọn ảnh hưởng đến việc tải mô hình, tạo, phục vụ và xử lý yêu cầu. Tuy nhiên, ít được biết đến về những lựa chọn mà các nhà phát triển cấu hình rõ ràng trong thực tế. Trong bài báo này, chúng tôi trình bày một nghiên cứu thực nghiệm quy mô lớn về thực tiễn cấu hình suy luận LLM trong phần mềm nguồn mở bằng cách sử dụng Hugging Face Transformers, vLLM và OpenAI API. Chúng tôi phân tích 5.398 kho lưu trữ GitHub bằng cách sử dụng ít nhất một trong những backend này
Machine translation (Meta M2M100); the English original follows.
LLMs are increasingly integrated into software systems, making deployment and inference configuration a recurring software engineering task. Inference backends expose many options that affect model loading, generation, serving, and request processing. Yet little is known about which of these options developers explicitly configure in practice. In this paper, we present a large-scale empirical study of LLM inference configuration practices in open-source software using Hugging Face Transformers, vLLM, and the OpenAI API. We analyze 5,398 GitHub repositories using at least one of these backends
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.27945, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange