OpenAI炮轰AI评测标杆：30%任务有缺陷，通过率8个月飙57%

OpenAI发文公开质疑行业权威评测基准SWE-Bench Pro，认为约30%任务存在评测缺陷，8个月通过率从23%飙到80%过于异常。

一、评测标杆被指"注水"

你有没有觉得最近AI模型的编程能力进步太快了？8个月前还只有23%的通过率，现在居然飙到80%——这正常吗？

OpenAI不这么认为。他们最近发了篇博客，直接炮轰行业权威评测基准SWE-Bench Pro，说这玩意儿约30%的任务都有问题。

SWE-Bench Pro是Scale AI推出的，专门评测大模型写代码的能力，因为特别贴近真实企业开发场景，被认为是AI编程领域的"行业标杆"。结果现在OpenAI说这个标杆本身就有问题。

二、三成任务"不合格"怎么发现的

OpenAI用两条路同时验证：

• 数据分析：标记出200个失效任务，占731个任务的27.4%
• 人工标注：识别出249个失效任务，占比34.1%

两边交叉验证下来，问题主要集中在四类：测试过严、提示不充分、测试范围过窄、提示具有误导性。

最典型的例子是某道题：要求转Markdown时在行首加1个空格，但隐藏测试却要2个空格。模型按题面说明写对了，也被判错。

三、这意味着什么

我觉得这个事比表面上看起来严重得多。

对行业来说：如果评测基准本身有bug，那各大厂宣传的"超越GPT-4"、"编程能力吊打人类"，到底多少是真实进步，多少是刷题刷出来的？当"行业标杆"都不能信任，整个AI评测体系的公信力都要打个问号。

对开发者来说：别迷信跑分了。选AI编程工具的时候，与其看榜单分数，不如自己上手试一把——真实场景下的表现比benchmark靠谱多了。

对AI行业来说：该重新思考评测逻辑了。简单把人类开发者的测试题拿给AI做，可能本身就荒谬。OpenAI呼吁重建评测体系，我举双手赞成。