Yuchi Wang, Rongyao Fang, Weihao Yu, Xilin Wei, Tiancheng Gu, Dingkang Yang, Hang Zhang, Dayiheng Liu, Hongsheng Li, Shuai Bai · 2026 · arXiv (Cornell University)
DOI: 10.48550/arxiv.2610.26826 · cited by 0 works (OpenAlex) · open-access PDF
وبالإضافة إلى تطوير المهارات الأساسية في استخدام الأدوات والتحكم في الأدوات، فإن التركيز الفعلي في إنتاج الأدوات في إنتاج الأدوات أمر ضروري أيضاً لتطبيق أدوات الذكاء الاصطناعي على مهام الإنتاجية في العالم الحقيقي. ونحن ندرس هذه القدرة الأساسية من خلال تطوير صفحة ويب، وهو إعداد مفصل يضم 300 مهام تطوير صفحة ويب متعددة الأبعاد الواقعية التي ترتبط بشكل كبير بتوجيهات اللغات الطبيعية مع صور شاشة من صفحة واحدة إلى خمسة صفحة مرجعية فقط، ويجب على الأدوات التفكير بشكل تلقائي وتستخدم هذه المقالات بشكل أكثر شيوعاً من تطويرها من أمثال الفيديو.
Machine translation (Meta M2M100); the English original follows.
Beyond basic tool use and coding skills, effectively incorporating visual references into agentic generation is equally essential for applying AI agents to real-world productivity tasks. We study this crucial capability through webpage development, a practical and readily evaluable setting in which existing benchmarks remain largely idealized: they typically focus on reconstructing visual targets or generating webpages from textual instructions alone, overlooking the more common workflow of developing from visual examples. Specifically, we introduce RefCraft, a benchmark comprising 300 realistic multimodal webpage-development tasks that combine natural-language instructions with screenshots from one to five reference webpages. Agents must selectively interpret and utilize these references while rendering, visually inspecting, and iteratively refining their outputs. We evaluate the resulting open-ended artifacts using independently verifiable keypoints and complementary programmatic and VLM judges. Across nine frontier (M)LLMs, the strongest system achieves an overall score of only 52.12 out of 100, revealing that visual-reference-conditioned agentic generation remains a substantial challenge for current models in practical webpage-development settings.
Read in: English · Spanish · Chinese · Hindi · Arabic · Portuguese · French · German · Japanese · Russian · Korean · Indonesian · Vietnamese
Topics: Computer science, Benchmarking, Workflow, Focus (optics), Artificial intelligence, Web application
GET https://store.agentexchange.work/gw/papers/verify?title=...&year=... (0.003 USD), fetch this record as JSON with /gw/papers/paper?id=2610.26826, or list what it cites with /gw/papers/references?id=.... Pay per call in USDC (x402) or with a 19 USD card key for 1,000 calls. Catalogue · llms.txtSources: OpenAlex (CC0), arXiv, Crossref. Agent Exchange