OpenAI公开打脸AI评测：标杆测试近三成题目有缺陷

你有没有怀疑过，AI模型的那些"高分"真的靠谱吗？

OpenAI最近干了件狠事——公开炮轰行业权威评测基准SWE-Bench Pro，说它的731道测试题里，近三成有缺陷。更离谱的是，前沿模型在这个基准上的通过率，8个月从23%飙升到80%。

OpenAI的意思很明确：这分数涨得太假了。

一、SWE-Bench Pro是什么？

简单说，这是目前AI编程领域最权威的评测基准，由Scale AI推出。它的特点是高度贴近真实企业级开发，而且防作弊做得很好——模型不能靠刷题拿高分。

因为这个特点，它成了各大AI公司秀肌肉的标准舞台。谁家模型在SWE-Bench Pro上得分高，谁就能在宣传里说"我们的AI编程能力最强"。

但OpenAI现在说：这个标杆本身有问题。

OpenAI用了两条路径交叉验证：

数据点分析：标记出200个失效任务，占27.4% 人工标注：识别出249个失效任务，占34.1%

综合下来，约30%的测试题存在缺陷。

缺陷分四类：

OpenAI举了个例子：某道题要求"把内容转为Markdown时在行首加入1个空格"，但隐藏测试却要求2个空格。

这意味着什么？模型严格按照题目说明写代码，结果被判错。

这种"隐藏要求与明文说明不一致"的问题，直接导致模型的真实能力被错误评估。也解释了为什么通过率会出现不合理飙升——可能不是模型变强了，是测试题设计有问题，模型"蒙"对了隐藏规则。

说实话，AI能力提升确实很快，但8个月从23%飙到80%，这个斜率确实有点离谱。

OpenAI的潜台词是：这里面有水分。要么是测试题被"污染"了（模型在训练时见过类似题目），要么是测试本身的缺陷让分数虚高。

OpenAI自己撤回对SWE-Bench Pro的采用建议，这个举动本身就很说明问题。相当于说："我们之前推荐你们用这个测，现在我们觉得它不靠谱了。"

这件事暴露了一个行业通病：评测基准跟不上技术发展。

AI模型进化太快，评测方法还在用几年前的思路。当厂商们发现"跑分"比"实用"更容易传播，就会有人去钻评测的空子。久而久之，评测分数和真实能力脱钩，整个行业都在"刷分"。

OpenAI呼吁"由资深软件开发者专门为AI评测设计新的基准"，这个建议是对的。但问题是，谁来定义"资深"？谁来保证新的基准不会被再次破解？

评测永远是猫鼠游戏。模型在变强，评测方法也要跟着变。但当一个评测基准有30%的题目都有问题，它确实该被重新审视了。

对普通用户来说，别光看分数。一个模型好不好用，最终还是要自己上手试。