论文阅读:ICML 2025 Position: Theory of Mind Benchmarks are Broken for Large Language Models

张开发
2026/5/17 10:39:14 15 分钟阅读
论文阅读:ICML 2025 Position: Theory of Mind Benchmarks are Broken for Large Language Models
总目录 大模型相关研究 2025版https://blog.csdn.net/WhiffeYF/article/details/142132328https://arxiv.org/pdf/2412.19726该论文由IBM Research、Mila及蒙特利尔大学的Matthew Riemer等学者撰写发表于ICML 2025第42届国际机器学习会议。该论文直指当前大语言模型LLM心智理论Theory of Mind评估体系的根本缺陷。作者指出现有基准测试多照搬人类心理学范式仅测量字面心智理论——即预测他人行为的能力却忽视了功能心智理论——即根据预测自适应调整自身策略的能力。这一错位导致LLM看似懂对手实则不会用这份理解。该论文以石头剪刀布游戏为例阐明核心观点当对手连续100轮出石头时LLM虽能准确预测字面能力强却常选择均匀随机出招功能能力弱而非稳赢的布。这种知而不行的割裂暴露出基准测试的误导性——高预测准确率不等于高决策质量。该论文进一步在重复博弈实验中验证开源LLM如LLaMA、Mixtral的字面预测准确率可达90%以上但功能遗憾值Regret却远超简单表格模型。作者呼吁社区重构评估范式将自适应决策置于心智理论研究的核心。

更多文章