XYBench 发布：测试 AI 识别用户错误前提的能力

Hugging Face 联合多所高校发布 XYBench，一个包含 8000 多个问题的基准测试。它专门评估 AI 助手能否识别用户提问中隐含的错误假设（即 XY 问题），并引导用户解决根本目标，而非仅仅回答表面问题。测试显示，当前主流大模型往往倾向于直接回答用户错误的表面请求，而缺乏纠正错误前提的能力。

什么是 XY 问题

XY 问题是指用户想要达成目标 X，但错误地认为方法 Y 有效，于是询问如何优化 Y。例如，用户问如何让奶油粘在杯子上，但真正的问题是杯子太热。AI 助手若只回答如何改良奶油，就陷入了 XY 问题。XYBench 旨在测试模型能否识别这种隐含的错误前提，并将用户引导至真正有效的解决方案。

基准测试的构建

XYBench 包含 8115 个真实世界问题，来源包括 Stack Overflow、Stack Exchange、人工整理案例以及基于 WikiHow 指南生成的问题。每个问题都标注了表面请求（Y）和潜在目标（X）。对于论坛问题，使用高分回答和采纳回答来确定潜在目标。对于 WikiHow 问题，使用 Sonnet 4.5 生成包含合理误解的问题，并过滤掉那些仅回答表面请求即可解决问题的案例。

评估指标与结果

XYBench 从三个方面评估模型回答：是否包含针对 Y 和 X 的解决方案、回答的侧重点（Y、X 或平衡）、以及是否识别并纠正了错误前提。使用 Sonnet 4.5 作为自动评判者，并通过人工评估验证其准确性。测试了 Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro。结果显示，所有模型都更倾向于回答表面请求 Y，而非潜在目标 X。在 Stack Overflow 问题上，模型主要关注潜在目标的比例仅为 35-41%。

对 AI 助手的启示

XYBench 揭示了当前 LLM 在故障排除方面的关键差距：识别用户请求基于隐含误解，并适当引导用户解决实际问题。用户可能不具备专业知识，不知道如何正确提问。该基准测试有助于研究者衡量模型改进是否使助手更擅长识别错误假设、解释为何提议的方法无效，并建议更有效的替代方案。

小编总结

小编总结：XYBench 对国内 AI 应用开发者具有重要参考价值。它指出当前大模型在理解用户真实意图方面存在不足，容易陷入用户设定的错误框架。对于国内从业者，这意味着在构建 AI 助手时，不能仅关注回答的准确性，更要注重对用户意图的深度理解和引导。建议关注如何设计更智能的意图识别和纠正机制，提升 AI 助手在复杂场景下的实用性。