AI 产品的评估应该看分数吗?

做 AI 产品和 Agent 产品时,很难像写传统代码那样,跑一遍测试或者自己手动试几次,就能确定改完是变好了还是变差了。因此,很多团队都会自己造一批内部用例,再让一个裁判模型对照标准批量打分。这套做法和市面上测模型的 benchmark 很像,只不过用例来自自己的业务场景。
批量跑分确实大幅加快了迭代速度,但在我自己的实践里,我会发现一个问题:很多时候分数高,实际体验并不好;反过来,分数低的情况下,有时候体验甚至会更好。
从一份研究报告的错漏查起
在一个深度研究 Agent 里,搜索 Agent 先查资料、整理发现并附上证据,再交给另一个 Agent 写报告。后者看不到原始网页,主要根据前面整理的材料写。
有一次,几个模型给宇树 G1 人形机器人写出了不同的价格。顺着来源检查,其中一份用的是行业均价,读过官方规格页的那份才写对。
这让我开始检查搜索时到底发生了什么。gpt-5.4-mini 搜索了 22 次、抓取了 2 次全文;deepseek-v4-flash 搜索了 38 次、抓取了 3 次全文;deepseek-v4-pro 搜索了 65 次,却只抓取了 2 次全文。搜索次数很多,但大部分来源没有打开阅读全文。
关于 Figure AI 的材料里也有类似问题。读过全文的一条记录整理出了 16 个事实点;另一条附的摘要只有两句话,结论里却写了摘要没有提供的创始人履历和团队背景。如果只读整理后的结论,很难分辨哪些内容有依据,哪些是模型自己补出来的。
评分标准里明明有「网页抓取」这一项,分数却没有掉下来。因为它主要看抓取成功率,以及抓回来的页面里高价值来源占多少。一个模型只抓了两个官网,只要都成功了,这两项比例就是 100%。评分标准看的是比例,没有回答这道题需要核实的内容到底查够了没有。
再往前查提示词,一处写着必须深入抓取正文、挑 2 到 4 个高相关来源读全文,另一处又强调精挑链接以控制噪音和成本。题目一复杂,模型就偏向了省成本那一句。
Manus 团队分享过类似的经验:他们统计研究报告里的事实点和比喻数量,发现 GPT 的事实点比 Claude 少,再往前查,才找到是笔记总结这一步把信息压丢了。直接数具体动作和产出数量,往往比看一个总分更容易找到问题出在哪一步。
这种错位在公开 benchmark 里也会出现。有一次我拿一套公开基准测桌面 Agent,任务指令是中文的,模型按产品要求用中文写了记事:「交期:图稿锁定后 18 天」「植物纤维」「湿度 >80% RH 时需配干燥剂」。事实一条没少,但上游的评分脚本只按英文子串核对 18 days、plant-fiber、humidity,中文写法全部判错。
使用公开 benchmark 时,原始题目和评分需要保留,才能和外部基线对照。如果要按产品要求修改题目,就应该另存为内部用例,不再把修改后的成绩当作同一份基准的成绩。
对于这种英文关键词检查,也需要把评分器的要求和用户的需要分开。正确的中文回答不应仅仅为了通过检查,就被改成用户没有要求的英文。
把标准写具体之后,还是不够
看到评分标准漏掉了问题,最自然的反应就是把标准写得更具体。但真写进标准里,往往会发现裁判和真实用户关心的仍然不在同一处。
在 Cowork Agent 里,助手调用工具修改文档,单次回复最多调用 10 次工具。次数用完之后,它经常说:「由于本轮对话的工具调用次数已达上限,请您随便回复我一句话,我将在获得新的调用额度后……」
这些词来自系统提示词,原本是向模型解释运行机制,模型却转述给了用户。用户只知道文档还没改完,并不需要理解什么是调用额度。
后来我试过禁用这些术语,结果它换成了「由于单次操作数量限制,最后两个节点尚未修改」。词换了,它依然在向用户解释内部限制。
再后来,我在提示词里给出正反例,要求它直接说清做完了什么、还剩什么,比如「前三个部分的配图已经加好了,最后一个还差一张图,要我接着做完吗?」它才开始用用户能看懂的方式说明进度。
如果评估只查有没有禁用词,换一种说法就能过关。要判断这次修改有没有用,还得看回复有没有把已完成和未完成的部分说清楚。
有些表达习惯更难写成明确规则。有一次给 AI 导师选模型,我让 deepseek-v4-pro 和 Grok 4.6 上同样的 20 堂课。裁判判定 Grok 通过了 13 堂,DeepSeek 只通过了 5 堂。Grok 每堂课的成本接近 DeepSeek 的 12 倍,单看通过率,似乎值得为效果多花钱。
但读完神经网络课的实际对话,结论和分数不太一样。DeepSeek 说「对——参数共享隐含的前提是『平移不变性』」,把平移不变和平移等变混用了,裁判扣了事实分。
Grok 纠正了这个知识点,但它先说「卷积省掉的正是这份位置税」,等学生回答「省位置税」,又接了一句「位置税这账你算对了。只补一句精度:卷积本身更接近平移等变……」裁判给这堂课的表达打了 8.5 分,还表扬了这一轮纠正。
站在第一次学卷积的学生视角,读到「位置税这账你算对了」,得先想清楚「位置税」是什么、「账」又指什么,才能接着看懂后面的解释。
按每万字统计,Grok 用了 35 个这种比喻性名词,DeepSeek 是 18 个。另一堂课里,Grok 在一句话中用了两个自造词,表达分照样拿了 8.8 分。裁判自己懂这些概念,读起来觉得生动;可真实用户读的时候,每遇到一个自造词都要停下来还原原意。
DeepSeek 的问题则是另一种:学生答对后,它经常先说「对——你抓住了关键」,再把学生刚说过的话复述一遍。
我统计了确认句和学生上一句的词语重合率,中位数是 22%,Grok 是 12%。
禁止「对」「没错」作用有限,后来直接要求它确认之后补充学生没说过的新信息,或者提出一个新问题,复述比例就降到了 15%。这种计数能直接验证改动有没有起作用,但它只能说明重复减少了,不能代替对整堂课教学质量的判断。
分数测到的,未必是产品真实的能力
就算评分标准足够细致,还有一个更容易忽略的问题:测试的运行方式和系统里的限制,常常会改变测试实际衡量的能力。
测桌面 Agent 的文件任务时,最开始模型五项全挂,原因是 App 的相对路径默认在对话目录里,任务材料却在外面,模型找不到输入文件。当时为了先让任务跑起来,我在测试提示词前面加上了绝对路径,并明确告诉它先用文件夹接入工具导入材料。改完之后,任务立刻变成了 5/5。
但这两次测的其实是两件不同的事:一次测的是模型看到文件夹会不会自己去接入,另一次测的是明确点名工具之后模型会不会照做。后来我把运行器改成模拟真实用户的操作,直接把材料文件夹作为第一条消息的附件连上,提示词里不再提任何工具名。
同一批测试里还暴露过另一个环境问题:当时文件读取工具遇到 PDF 会返回原始字节,而跑测试的开发机上装了 pdftotext,模型自己通过命令行绕过去了,分数依然很好看。可普通用户的电脑上未必有这个程序,如果只看跑分,根本发现不了产品里的 PDF 读取能力其实是有缺口的。
系统里的硬性限制,也会制造出模型变强的假象。在 AI 导师的评估里,我设过一种每轮都要求画图的学生,希望老师先配合,在学生过度依赖之后再引导他自己思考。
没有数量限制时,claude-haiku-4-5 在六门课里有几门能自己收住,比如 Python 入门课第 4 轮拒绝画图后带学生跑代码,到第 23 轮学生自己说不用图也能理解。
但别的模型做不到,为了压成本,我在系统里限制每个知识点最多画 3 张图,超过后工具直接拦下,并返回一段引导文案,比如「闭上眼睛想一秒钟」。
加了限制之后,部分分数确实涨了,可对话里全是问题:deepseek-v4-pro 被拦下之后,嘴上照旧跟学生说「这张图和前面那张配合着看就行」,学生其实根本没收到图;而裁判夸奖 Haiku「把不画图自然地表述为教学选择」,引用出来的正是系统拦截时塞给它的现成台词。
更极端的情况下,测试显示通过,想测的代码甚至一次都没运行过。在一条检查网页防注入的用例里,结果显示全部通过,展开执行轨迹才发现,模型那一轮压根没有调用写入工具,防注入校验的那段逻辑一次都没触发。
同一份代码,分数自己也会波动
即使评分标准和运行环境都没有问题,分数上涨也需要排除随机波动,才能归因于改动。
在桌面 Agent 的 16 个文件任务上,我拿同一份代码一个字不改,连续跑了三轮。
一共 169 项检查,三轮通过的检查项总数分别是 143、144 和 145,差距只有一两项;但按「全部检查项通过才算完成」统计,三轮通过的任务数却跳成了 6 个、3 个和 5 个。
因为很多任务只差一两项,单项一抖动,整道题就从通过翻成了失败。如果只看任务通过数,很容易把一次正常的波动当成效果翻倍或严重退步。
在另一个个人助手产品的自动化评测里,这种波动更明显。同一道跨步骤任务连跑三次,检查项得分分别是 21/41、18/41 和 29/41。有一条用例少量测试时看起来新版比原版差,等两边各跑到 18 次,结果精确地停在同样的 6/18。
还有一种上涨来自提示词对测试集的适应。每次看到哪道题答错了,就把那道题的场景和说法写进提示词里,原有测试集的通过率确实能一路升到接近 100%。
可在一次检查中,把具体例子删掉、只保留通用原则后,不同版本的通过率一下掉了 18 到 41 个百分点。这部分高分依赖的是提示词里写死了特例,换个说法或场景就失效,所以必须留一部分改提示词的人看不到的用例来做检验。
反过来,用例本身的标准也需要在真实输出里不断校准。个人助手里有一条记忆提醒用例:用户说「周末可能去爬山」,我原本写的标准是周末前要主动提起并同时提供查天气和查路线的帮助。
后来改成了提供查天气或查路线等具体帮助都可以,因为在实际回复里,模型只温和地提醒一句并提出帮忙看天气,对用户来说已经是合理且有帮助的回应,没必要因为少提了一项路线就被判失败。
让评估服务于产品决策
做 AI 产品,评估首先要分清两个问题:已经承诺的行为有没有被改坏,以及这次改动有没有让产品变好。它们需要的证据不同,不能用一个总分代替。
回归评估检查的是已有行为有没有退步。用例应该来自用户实际会经历的场景,标准写清用户最后应该得到什么结果。模型调用过工具、生成过文件,或者说了一句「完成了」,都不能单独证明事情已经办成。
对于模型判断不稳定的场景,需要重复运行;原本就存在的失败要单独记录,和这次新出现的退步分开。少数几次全部通过,也不代表这个场景以后一定不会失败。
能力评估则需要证明改动有没有效果。新旧版本应使用相同的任务、模型配置和运行条件,先明确希望改善什么,再决定指标和通过标准。看完结果再挑有利的指标,或者把某一项提高解释成整个产品变好,都不足以支持决策。
公开 benchmark 可以为能力评估提供任务和外部参照。使用时要保留它的版本、题目和评分口径,同时说明产品运行条件的差异。它能帮助发现能力不足,但不能替产品决定哪些行为应该向用户承诺,也不能直接代替产品自己的回归用例。
这些评估都需要阅读实际输出。评分标准有没有遗漏,要从输出里找;分数提高来自模型判断、工具改进还是额外限制,要结合执行记录确认。发现问题后,再决定哪些可以直接计数,哪些需要模型裁判,哪些必须检查真实产物和最终状态。
查出来的原因也不一定都在提示词里。如果模型没有拿到需要的信息,工具返回不完整,或者执行流程提前中断,继续修改措辞未必有用。评估应该帮助定位需要修改的部分。每次失败之后,都要先查原因,再决定要不要修改提示词。
AI 产品需要评估,是因为模型行为无法只靠阅读代码来判断。批量评分让更多场景能被反复检查,但评估还需要解释:用户遇到的哪个问题改善了,哪些行为仍然不稳定,这次改动能支持多大的结论。只有把分数对应到这些实际表现,评估才能成为产品决策的依据。
