AI公司TypeSafe在9月15日发布了一款名为Jev的模型。Jev不写文章，只做判定：在几个选项中选一个、打分，或者回答是与否。TypeSafe还在评测页面上公开了一份排行榜，把安全事件响应、发票处理、客户服务等四个工作流以同样的方式交给多款模型，再给它们排名。
在这份排行榜上，Jev每做一次判定只要几分之一美分。但如果顺着去看打分时把什么当作标准答案，就会发现：挑选判定模型时，首先该看的不是模型价格，而是标准答案。
TypeSafe的判定模型Jev每次判定只要0.0004美元，得分67.8%，与Claude Sonnet 5持平
排行榜上的分数是四个工作流的平均值。把Jev和Claude Sonnet 5放在一起比较，结果如下。
| 模型 | 得分（四个工作流平均） | 每次判定费用 | 每次判定耗时 |
|---|---|---|---|
| Jev | 67.8% | 0.0004美元 | 0.4秒 |
| Claude Sonnet 5 | 67.8% | 0.1174美元 | 78.1秒 |
排行榜上共有九款模型。得分高于Jev的有三款：GPT-5.6 Sol（74.1%）、Claude Opus 5（73.1%）和GPT-5.6 Terra（67.9%），每次判定的费用分别为0.0836美元、0.1761美元和0.0304美元。Jev紧随其后，与Claude Sonnet 5同分，是九款模型中最便宜、最快的。 发布文章列出的价格是每百万输入token 0.042美元，输出token不收费。 也就是说，让AI做判定的成本几乎降到了零。
但这个67.8%不是与人工标准答案的吻合率，而是与两款不在榜上的AI模型答案一致的比例
67.8%是和什么比出来的，同一页面的评分方法说明里写着。
“我们不去争论测试框架和标签是否正确，而是假定代码是正确的，并以当前最聪明的大模型为基准来衡量。在这项评测中，参考标签的生成方式是：让GPT-6 Astra和Claude Fable 5.1都在high thinking模式下回答框架中的每一道题，再取两者回答的平均值。”
TypeSafe AI, Workflow evals,“How we evaluate”
TypeSafe没有让人来定标准答案。GPT-6 Astra和Claude Fable 5.1回答了所有问题，两者答案的平均值被当作标准答案。而这两款模型都不在排行榜上。所以67.8%并不是答对人工标准答案的比例，而是与TypeSafe眼中当下最聪明的两款模型给出相同答案的比例。
这样打出来的分数会偏向哪一边，TypeSafe自己也在发布文章的注释里写明了：以这两款模型的平均答案为标准，对OpenAI和Anthropic的模型有利，Jev和DeepSeek模型的成绩很可能被低估。
用Jev做的194个项目里，用数字写出判得准不准的只有3个，拿非AI答案来核对的只有2个
有个叫jevable.com的网站，专门挑选收录用Jev做的项目。9月21日，这个网站的公开API返回了194个项目。其中介绍里写了美元金额的有27个，写了耗时的有33个，用数字写出答案对不对的有3个。
| 做了什么 | 写出的结果 | 以什么为标准答案 |
|---|---|---|
| 诈骗邮件识别 | 100封中判对96封。这是把拿不准的邮件转交给其他模型的整条流水线的结果 | 事先已知答案的100封邮件 |
| Postgres查询规划器 | 查询速度提升12% | 基准测试中查询的实际耗时 |
| 建筑图纸分类 | 100%一致 | GPT-4.1和GPT-6 Astra给出的答案 |
诈骗邮件识别和查询规划器的标准答案并非来自AI。建筑图纸分类则和排行榜一样，把另一款AI模型给出的答案当作标准答案。
同一列表里有个叫jevcal的工具，介绍开头写着：“大家给Jev定置信度阈值全凭感觉。0.95？0.5？”（Everyone picks Jev confidence thresholds by vibes. 0.95? 0.5?）意思是，Jev在给出判定时会附带一个置信度分数，分数到多少才信这个判定，大家都是凭感觉定的。jevcal称，只要放进自己的数据、说出想要的准确率，它就能帮你定出这个阈值。 OpenChamber收集分析了Jev发布后四天内的推文，它的文章也讨论了同一个问题：0.95这个分数在你自己的业务里是否真的意味着95%正确，光看分数无从得知，必须拿带标准答案的样例来核对。
Red Hat用自带标准答案的公开数据重新比较，Jev的排名因任务不同分别是第1和第4
10月2日，Red Hat的Rob Geada、Mac Misiura和Shelton Cyril在Red Hat Developer上发表文章，把Jev这类判定模型与现有的AI安全护栏（guardrail）做了比较（10月5日更新）。任务有两项：拦截用来欺骗AI的指令（提示词注入），以及过滤有害内容。三人用四大类、九种方式搭建护栏，把危险语句和安全语句都已预先标好答案的公开数据集交给每种方式来判定。数据中危险与安全各占一半，每种方式做出的拦或放的判定，都与数据集的标准答案对照。
| 任务 | 排名 | 方式 | 准确率（accuracy） |
|---|---|---|---|
| 拦截提示词注入 | 第1 | Qwen3.6-35B（让通用模型做判定的方式） | 89.31% |
| 拦截提示词注入 | 第2 | Red Hat预训练分类器（2亿参数） | 89.01% |
| 拦截提示词注入 | 第4 | Jev | 86.35% |
| 过滤有害内容 | 第1 | Jev | 86.20% |
| 过滤有害内容 | 第2 | DiffusionGemma | 85.53% |
| 过滤有害内容 | 第3 | Qwen3.6-35B | 85.47% |
速度上Jev也没有领先。在拦截提示词注入时，Red Hat分类器的延迟是54.1毫秒，Jev是348.1毫秒。三人写道，他们没有发现判定模型比让通用模型来做判定的方式更快、更便宜或答案更好。
“我们没有发现，与LLM-as-a-judge相比，判定模型能给出更快、更便宜或质量更高的答案。”
Rob Geada、Mac Misiura、Shelton Cyril，Red Hat Developer
这项比较也有局限。三人自己写明，测试是在英国跑的，往返位于美国的Jev API和Red Hat集群至少多出约56毫秒。任务只有两项，而且只用了英文语句。另外，排名第2的预训练分类器，是Red Hat在自家产品OpenShift AI 3.6中作为默认安全护栏搭载的模型。
在TypeSafe的排行榜上，Jev排在九款模型中的三款之后，与Claude Sonnet 5同分，而那份榜单的标准答案是两款AI给出的答案。在Red Hat的比较里，标准答案是数据集一开始就带着的标签，Jev在过滤有害内容上排第1，在拦截提示词注入上排第4。两份榜单的任务也不一样，所以不能把排名变化全归因于标准答案。不过，在换了出题人的比较中，发布文章打出的“性能相近，却便宜得多、快得多”这一说法，没有在Red Hat的比较里得到证实。
每次判定只要0.0004美元的今天，挑判定模型先该问的不是模型价格，而是你的工作有没有标准答案
TypeSafe在发布文章中介绍说，为排行榜提供标准答案的GPT-6 Astra和Claude Fable 5.1，是其他公司做的模型里最大、最聪明、也最贵的。 上榜的模型都用各家的默认设置作答，只有提供标准答案的这两款模型开启了长时间思考的设置。
就连出售0.4秒、0.0004美元完成一次判定的模型的公司，给这些判定打分用的标准答案，也是让最贵的两款模型花长时间思考做出来的。手里有自带标准答案数据的Red Hat重新比较同一款模型后，排名随任务而变。
连每次判定只要0.0004美元的模型都已出现，挑选判定模型的人首先要问的，与其说是模型价格，不如说是有没有一份标准答案，能判断这些判定在自己的工作中到底对不对。
想深入了解
评分方法与四个工作流 标准答案是怎么做出来的、各模型在哪个工作流上拉开差距，附有分工作流的表格 evals.typesafe.ai
用带标注数据做的护栏比较 Red Hat亲自写下的九种方式的结果、延迟，以及测试环境的局限 developers.redhat.com
12,759条推文统计 整理了该用什么来确认置信度分数是否与实际正确率一致 openchamber.dev