Newest papers

CALLIOPE: Private Insights into AI Use, Without Embeddings

Edith Cohen, Vadym Doroshenko, Badih Ghazi, Charlie Harrison, Pritish Kamath, Alexander Knop, Ravi Kumar, Ethan Leeman, Pasin Manurangsi, Mikhail Pravilov, Adam Sealfon, Yurii Sushko, Marika Swanberg, Chiyuan Zhang · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.28797 · cited by 0 works (OpenAlex) · open-access PDF

German

Wir stellen CALLIOPE vor, ein Top-down-Framework für die Entdeckung von Themenhierarchien in einem großen Korpus von unstrukturierten Daten (z. B. LLM-Konversationen), während differentielle Privatsphäre (DP) unterstützt wird. Im Gegensatz zu traditionellen und sogar jüngsten LLM-vergrößerten Ansätzen, die sich letztendlich auf Cluster-Vektor-Eingänge stützen, nutzt unser Framework die LLM-Fähigkeiten direkt für die gesamte Pipeline. Experimente zeigen, dass dieser Ansatz eine bessere Nützlichkeit gegenüber bestehenden (embedded-basierten) Methoden in der DP-Einstellung bietet, insbesondere im hohen Privatsphäre-Regime. Wir bewerten die Qualität der CALLIOPE-Ausgänge mit einer Vielzahl von

Machine translation (Meta M2M100); the English original follows.

Abstract

We introduce CALLIOPE, a top-down framework for discovering topic hierarchies in large corpora of unstructured data (e.g., LLM conversations), while supporting differential privacy (DP). Unlike traditional and even recent LLM-augmented approaches that ultimately rely on clustering vector embeddings, our framework leverages LLM capabilities directly for the entire pipeline. Experiments demonstrate that this approach provides better utility over existing (embedding-based) methods in the DP setting, especially in the high privacy regime. We evaluate the quality of CALLIOPE outputs using a variety of traditionally studied clustering metrics, as well as some novel utility metrics that we introduce.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Variety (cybernetics), Computer science, Cluster analysis, Differential privacy, Artificial intelligence, Conceptual clustering

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange