Nada Zine, Matias Martinez, Romain Rouvoy, Clément Quinton · 2026 · arXiv
DOI: 10.48550/arXiv.2610.27945 · open-access PDF
LLMs werden zunehmend in Software-Systeme integriert, was die Bereitstellung und Inferenzkonfiguration zu einer wiederkehrenden Software-Engineering-Aufgabe macht. Inferenz-Backends enthüllen viele Optionen, die das Laden, Erzeugen, Servieren und Bearbeiten von Anfragen beeinflussen. Doch wenig ist bekannt, welche dieser Optionen die Entwickler in der Praxis explizit konfigurieren. In diesem Papier präsentieren wir eine groß angelegte empirische Studie der LLM-Inferenzkonfigurationspraktiken in Open-Source-Software mit Hugging Face Transformers, vLLM und der OpenAI API. Wir analysieren 5.398 GitHub-Repositories mit mindestens einem dieser Backends
Machine translation (Meta M2M100); the English original follows.
LLMs are increasingly integrated into software systems, making deployment and inference configuration a recurring software engineering task. Inference backends expose many options that affect model loading, generation, serving, and request processing. Yet little is known about which of these options developers explicitly configure in practice. In this paper, we present a large-scale empirical study of LLM inference configuration practices in open-source software using Hugging Face Transformers, vLLM, and the OpenAI API. We analyze 5,398 GitHub repositories using at least one of these backends
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.27945, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange