AI 模型强度怎么评?区分客观指标与主观偏好
用任务完成率、耗时和盲测偏好理解模型强度,并将完整成本单独比较。
模型“强”不只有一种含义。做准确问答、生成可用的视频、快速返回结果、控制成本,可能指向不同的模型。先定任务,再选指标,最后才考虑加权。
哪些是可复核的客观指标?
- **任务完成率或正确率:**给同一组任务,使用预先确定的答案或验收规则,统计成功次数除以有效任务数。文字模型可看代码或工具任务是否完成;语音模型可看指定词语是否正确发音。
- **失败率与稳定性:**记录请求失败、输出缺失、规格不符的次数,并注明重试是否计入。一次成功的视频不能说明连续十次都稳定。
- **端到端时间:**从发出请求到拿到完整结果,包含排队、生成、编码和下载;只测“首字出现时间”回答的是另一问题。
- **完整任务成本:**按同一任务的实际用量计算所有收费项。文字模型的输入 Token 单价不能直接和视频每秒单价比较。
分类任务还可以补充专门指标:图片和视频统计固定检查项的通过率,例如要求出现两个物体、指定位置或动作;视频可测闪烁和跨帧主体一致性;语音可用固定转写器计算与原文的差异,并人工抽查。视频自动指标和语音转写误差都是代理指标,它们的数值客观可复算,但不能单独证明观感好或真正可懂。VBench 论文把视频的时序、主体一致性等拆开评估,也说明自动指标与人类感受并不完全一致;微软的语音评测说明给出了按词统计可懂度并由听者核验的例子。
上下文长度、支持的分辨率、帧率和时长也是可核实的技术规格,但只说明可用范围,不直接证明模型在同题任务中更强。需要单独展示规格,不能把“支持 4K”直接换成质量分。
客观指标依然依赖测试条件。比如 Artificial Analysis 的文字基准方法列出不同任务集、评分方式和权重;视频测试方法固定时长、画幅等设置,并说明生成时间是否包含下载。引用数值时,应同时写明基准版本、模型档位和设置。
主观证据如何使用?
画面是否有感染力、声音是否自然、回答是否清晰,通常需要人来评价。实测视频让读者看到具体样本,用户反馈能提示常见痛点,但都可能受选样、提示词和个人偏好影响。
盲测比单个评论更系统:评审不知道模型身份,在相同提示词的两个结果中选择偏好的一个。Artificial Analysis 图片基准方法和语音合成基准方法都解释了这种偏好评分。**Elo 是相对偏好的统计尺度,不是任务正确率或 0–100 强度值。**两个模型的置信区间重叠时,也不宜断言其质量已经分出胜负。
一段实测视频也可以同时包含两种证据:画面是否喜欢是主观判断;视频时长、分辨率、请求是否失败,以及按预设规则核对的对象数量是可复核事实。用户反馈若只有“感觉更好”属于偏好;若附有请求记录和可重现步骤,可作为客观故障线索,但仍需核实。
加权前先检查四件事
- **同类任务:**文字、图片、视频和语音分别比较;视频的文生视频与图生视频也应分开。
- **同一条件:**记录模型版本、推理档位、分辨率、长度、语言、提示词和平台。档位不同时,差异可能来自设置。
- **独立维度:**不要把同一个盲测 Elo 同时算作“画面质量”和“提示词符合度”;否则重复计权。
- **缺失数据:**少了强度所需的失败率、客观任务结果或盲测证据,就标明“待测”,不要用厂商宣传参数填空。成本缺失应在价格比较中单独注明。
本站的四类排行榜把已收录模型按各自公开基准的原始指标列成一列,标注测试变体、来源和核对日期。这只是本站收录模型中的公开基准排序,不是基准方的全站名次。分类页另公布拟使用的综合强度维度、客观或主观归类、测量方式和权重。权重是编辑选择,不是经过验证的自然常数;各项原始结果要先按公开规则转换成 0–100 分,才能加权,同一来源不能重复算分。价格不计入强度值,单独在API 报价页比较;报价也不自动代表完整任务成本。现有证据尚不构成完整的同题测试,因此暂不计算本站的综合强度值。
计算式为 强度值 = Σ(各维度的 0–100 分 × 该维度权重 ÷ 100)。例如某维度权重 30%,它的 80 分贡献 24 分。这只是计算方法示例,不代表任何模型的实测得分。转换标尺、任务清单、重复次数和盲测人数必须在填入真实成绩前固定并公开。
独立测评要达到什么标准?
发布本站的综合强度分前,我们需要先公布测试方案,而不是看完结果再挑题或调权重。每类任务固定提示词、输入素材、模型版本、接口、生成参数、失败与重试的处理规则;同一任务对所有模型使用相同条件,并保留原始输出和请求记录。客观项按事先写定的验收规则统计,失败请求也进入可靠性分母。盲测项隐藏模型名称、随机展示顺序,让多名评审独立判断。
样本量要按预期误差确定,报告任务数、重复次数、评审人数和不确定性区间。区间重叠时只展示中心值的排列,不宣称确定胜负。视频自动时序指标可参考 VBench 的分维度方法,但仍要与真人盲评对照;图片和视频的 Elo 则应理解为同一竞技场中的相对偏好,而不是绝对质量百分比。Artificial Analysis 的视频方法也明确把有声、无声和不同生成任务分榜。当前预算和样本不足以完成这套本站独立测评,因此综合强度分保持空白。