Newest papers

When Do LLMs Help with Feature Selection? A Systematic Empirical Study

Fateme Memar, Dongjie Wang, Arvin Agah · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.28556 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

Các mô hình phân ngôn ngữ lớn (LLMs) có thể tận dụng các tên tính năng ngữ nghĩa cùng với các số liệu thống kê tóm tắt cho việc lựa chọn tính năng bảng, nhưng vẫn không rõ khi nào thông tin đó cải thiện việc lựa chọn tiểu nhóm liên quan đến các phương pháp thống kê được thiết lập. Chúng tôi điều tra câu hỏi này trong một khuôn khổ 18 tập dữ liệu bao gồm 10 tập dữ liệu cho việc đào tạo ROC-AUC tương đối (GRPO), 2 cho việc xác nhận điểm kiểm tra và 6 tập dữ liệu đánh giá tách rời. Chúng tôi so sánh năm bộ phận đánh giá hạt giống cổ điển, các bộ lựa chọn lớp đông lạnh Qwen2.5-7B và Llama-3.3-70B, và hai mô hình Qwen2.5-7B được điều chỉnh theo GRPO, báo cáo phân loại ROC-AUC và regression R2 riêng biệt và sử dụng các

Machine translation (Meta M2M100); the English original follows.

Abstract

Large language models (LLMs) can leverage semantic feature names alongside summary statistics for tabular feature selection, yet it remains unclear when such information improves subset selection relative to established statistical methods. We investigate this question within an 18-dataset framework comprising 10 datasets for Group Relative Policy Optimization (GRPO) training, 2 for checkpoint validation, and 6 held-out evaluation datasets. We compare five classical baselines, frozen Qwen2.5-7B and Llama-3.3-70B selectors, and two GRPO-adapted Qwen2.5-7B models, reporting classification ROC-AUC and regression R^2 separately and using dataset-wise ranks for cross-task comparison. Across five seeded evaluation partitions, classical selectors generally achieve higher predictive performance than the tested 7B LLM/RL selectors, including under a pre-specified ~33% feature budget with strict train-only classical fitting, while the 7B selectors retain compact subsets. A cardinality-matched semantic sensitivity experiment shows that, for Zero-shot Qwen-7B, informative feature names improve regression performance over anonymized and shuffled alternatives (+0.1964 and +0.1606 mean R^2), whereas aggregate classification differences are smaller (+0.0159 and +0.0084 ROC-AUC) and dataset-dependent. These results characterize when semantic information benefits LLM-based feature selection and show that classical selectors remain strong baselines for predictive tabular feature selection.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Feature selection, Leverage (statistics), Feature (linguistics), Computer science, Artificial intelligence, Regression

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange