Newest papers

Small Average Error, Wide Individual Error: General-Purpose LLMs Estimating Energy Intake from Meal Photos in a Feeding Trial

Xiaomeng Li · 2026 · arXiv (Cornell University)

DOI: 10.48550/arxiv.2610.26538 · cited by 0 works (OpenAlex) · open-access PDF

Vietnamese

A điểm không phải là ước tính trung bình của khoảng thời gian thực phẩm có thể làm cho đánh giá chế độ ăn uống dễ dàng hơn, và các mô hình ngôn ngữ đa phương tiện có mục đích chung (LLMs) nên làm cho ước tính như vậy dễ dàng để có được. Hầu hết các đánh giá sử dụng một bức ảnh được thực hiện trước khi ăn và so sánh với lượng năng lượng được phục vụ, trong khi đánh giá chế độ ăn uống chỉ cần năng lượng được tiêu thụ. Chúng tôi đã đánh giá sáu mô hình từ hai nhà cung cấp (Claude Haiku, Sonnet và Opus 5.5; GPT-6 luna, 6.1 sol và 6 astra) trên 802 bữa ăn từ ACETADA, một thử nghiệm cho ăn kiêng có kiểm soát với lượng thức ăn được cân nhắc, với trước khi chụp ảnh chỉ, trước và sau khi chụp ảnh trong các cuộc gọi riêng biệt (giảm), hoặc cả

Machine translation (Meta M2M100); the English original follows.

Abstract

Photo-based estimation of food energy could ease dietary assessment, and general-purpose multimodal large language models (LLMs) make such estimates easy to obtain. Most evaluations use one photo taken before eating and compare with energy served, while dietary assessment needs energy eaten. We evaluated six models from two vendors (Claude Haiku, Sonnet and Opus 5.5; GPT-6 luna, 6.1 sol and 6 astra) on 802 meals from ACETADA, a controlled feeding trial with weighed intake, with the before photo only, before and after photos in separate calls (subtraction), or both photos in one request. Three results ran against intuition. Subtraction under-estimated intake for five of six models, because the models still report hundreds of kilocalories for a nearly empty tray. Scaling the before-only estimate by the average share eaten (0.87) matched much of the gain from the after photo; beyond that constant, the second photo lowered meal-level error by only 2.2 to 3.4 points, mainly in meals with food left. With one photo, two models had a near-zero intake bias only because they under-estimated the served energy and ignored uneaten food. In ablations, adding the after photo improved accuracy under both prompt formats for five models, while prompt effects varied across models. Over 148 feeding days, three models kept the 90% confidence interval of their mean error within a pre-set 10% margin, but no model reached the pre-set 30% limits of agreement. Protein was under-estimated by every model, most in protein-dense meals; repeated calls changed error by at most 1.4 points; a high reasoning effort helped only the smallest model (4.2 points) and changed the others by less than 1 point. A low average bias is not evidence of accurate individual intake estimation; such estimates should support, not replace, assessment by a dietitian.

Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese

Topics: Calorie, Meal, Statistics, Energy (signal processing), Food intake, Food energy

Sources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange