AIGC 多模态模型质量评测体系

01我的起点：问题是在一线撞见的

1.1我每天在干什么

我现在的工作，是以软件外包身份驻场一家头部 AI 视频生成公司，在图像模型团队做美学专员。

日常工作说直白点就是大量看图、判断这张图能不能进模型训练集：AI 图像训练数据的采集、筛选和质量测评，依据项目标准对不同来源的数据做判断，覆盖人像摄影、风景、商业产品、抽象艺术、插画动漫等多个视觉类别；同时参与供应商交付数据的质检，把问题通过具体案例反馈回去。

在工作这段时间里，我撞见的问题不是"某张图画得好不好"——好坏判断我有四年写实绘画训练兜底，秒级能看出画面问题。真正卡住我的是另外三件事。

1.2三个真实的坑

1.3我开始想的事

这三个坑看起来是三件事，我越想越觉得是同一件事：

后端测评再严格，也只能发现问题，不能减少问题。 质量标准如果不能在数据生产的第一天就被采集端理解和执行，返修就是结构性的，不是谁粗心、谁不专业。

而问题的根子是判断力在传递中丢失：定标准的人脑子里的审美判断，传不到采集端；采集端眼里的"好"，和测评端对不齐。一层一层传下去，"二次元厚涂"这种不存在的品类也能变成采集任务。

这件事我其实干过一遍。我教过四年高考美术：老师脑子里"什么是好画"的判断，靠嘴讲学生永远 get 不到，但把它拆成范画、每日改画、错题本，基础不同的学生四个月就能稳定达到考试标准。审美判断是可以拆成可执行、可检验的语言的——我在画室里验证过，只是这次要传递的对象从学生变成了采集员、供应商，再往后是模型和系统。

1.4我的第一个尝试：采测同步

我在工作中提过一个想法：能不能采集和测评同时进行。后来在组里做了小范围试点。

做法很简单：

• 反馈点前移：不等整批交付，小规模试采、当天测评、当天反馈、校准后再加大采集量；
• 标准前置：采集员开工前就看到这个方向"什么是好数据"的正反例和打分侧重，而不是只拿到一个分类名；
• 按方向调评估侧重：人像重面部比例与主体表现，CG 重质感与造型准确，风景重构图与光影层次——一套框架，权重随方向走。

边界我也说清：这是一个小组的小批量试点，不是全线推广，样本量有限；但它验证了一件事——把反馈点前移、把标准在生产第一天就交出去，达标率是可以大幅提高的，整批返修自然就不会发生。

1.5顺着这个尝试，我开始系统想一件事

采测同步解决的是"反馈时点"。但顺着它往下问，问题一串：

• 好坏标准本身怎么拆，才能让没有美学背景的人也执行得动？（→ 03 美学评测）
• 图像之外，视频的物理真实性怎么评？"眼泪流得假"这种判断怎么量化？（→ 04 物理评测原型）
• 人眼看不过来的时候，机器能接哪一段、不能接哪一段？（→ 05 自动化原型）
• 评测发现的问题，怎么真正变成数据动作和模型迭代，而不是一份打完分就归档的报告？（→ 06 评测驱动迭代）

后面每一章，我都会标清楚：这是我干过的、我设计的、还是我做了原型验证的。没验证过的我不吹成做过，设计了的我也不藏着——我没验证过什么、什么信号出现说明我错了，都写在明处。

02评测是什么：不是打分，是模型迭代的反馈回路

先说一个常见误解：评测 = 给模型打个分、排个榜。我在一线打分的体会是，分数本身几乎不产生动作——一张图打 72 还是 78，改变不了下一批数据长什么样。

我理解的评测是一条回路：

两句话说清这条回路：

1. 评测的目的不是产生一个分数，而是建立"问题发现 → 问题归因 → 数据/模型迭代 → 效果验证"的闭环。 总分留着看趋势——换版本涨跌、整体水平监控看它；但驱动决策的是另外的东西：哪个能力弱、弱在什么变量、该补什么数据。
2. 总分告诉你"差了"，归因告诉你"哪差、补什么"。 一个"手部 2.8 分"不是结论，"手伸向镜头的握持动作好样本缺失"才是结论——后者能直接开出采集任务单（怎么开见 06 章）。

这个框架是我基于一线经验做的方法设计，没有跑过完整批次；但它的每一环在我工作里都能找到对应的痛点：采集与测评脱节（01 章）、标准不统一（03 章）、视频的假怎么抓（04 章）、机器能接哪段（05 章）、坏数据被扔、反馈没有回路（06 章）。

03美学评测：把"感觉不对"拆成看得见的位置

3.1一个起点：跟人说"感觉不对"没用

我教了四年高考美术，最熟悉的场景是：学生交一张画，你说"这里感觉不对"，他下次还是画不对。但你说"光源在左上方，你这个鼻子底面没压下去、缺投影"，他立刻能改。

审美判断传递不下去，不是因为审美太玄，是因为判断没有拆到"可观察的位置"。 我在数据一线遇到的是同一个问题的放大版：不同人对同一张图给出不同判断，分歧说不清楚——因为大家争的是"好不好"，不是"哪个位置出了什么问题"。

3.2三级能力地图：从总体质量到可观察问题

我把美学评测拆成三级 方法设计：

第三级是整套尺子的关键：它不要求判断者有审美，只要求他看得见。 "手部有问题"是审美判断，会吵；"这只手有六根手指"是可观察事实，不用吵。能落到第三级的问题，没有美学背景的人也能判；落不下去的模糊地带，才升级给有审美的人——这也是人机分工的雏形（05 章展开）。

3.3评分标准：固定框架 + 动态权重

每个维度配分档评分标准。以"细节质量-手部"为例 方法设计，分档写法在在线原型里已实现：

这套尺子不是一张表打天下：同一套维度，不同方向配不同权重。这套设计我在个人原型「AI 审美官」里实现了——8 个维度、12 种风格各有权重配比 原型，在线可试：ai-aesthetic-demo.pages.dev（目前是框架原型，公开版没有接入大模型接口、跑的是演示数据，自行接入视觉大模型接口后即可真实评分）。权重来自我的美术训练和一线评估经验：素描光影权重高，是因为考试评分本身重光影；抽象艺术创意权重高，是因为这类作品的价值核心就是创意。这些权重是我凭经验拍的假设，不是真理——等真实批次数据回来，它们要被验证、被调整。

3.4锚点五件套：文字传不过去的东西，用参照物传

文字评分标准解决"怎么描述"，但有些判断文字天生传不到位——什么叫"轻微多指感"？说一百句不如看一张。我在教学里靠范画和错题本解决，迁移到评测就是锚点五件套 方法设计，来自我四年美术教学与一线培训观察，未在生产环境完整验证：

为什么强调 3 分边界片：1 分和 5 分人人都会判，分歧全部发生在中间档。边界片不是教学辅助，是仲裁依据——两个人对一张图吵起来，拿边界片一摆："这张我们定为 3，你这张比它好还是差？"讨论立刻落地。

这套方法来自我对数据生产中"文字标准难以完全传递视觉判断"的观察，目前是个人方法论设计，没在生产环境完整验证——它在画室里被验证过四年，我相信它换个对象成立，但"相信"和"验证过"是两回事。

3.5案例：手部异常的完整处置链路

把 3.2-3.4 串起来走一个完整案例 真实经验：手部异常是一线最高频的坏案例类别之一处置流程为方法设计：

这张图打 30 分还是 40 分没有意义；"手部 × 握持 × 近景"这个标签组合才有意义——它能被统计、能被归因、能变成下一批采集任务。这就是"评测不为分数"的具体样子。

04视频物理一致性评测：从流泪场景开始做原型

4.1先说边界

我没有生产环境中的视频物理评测经验。 我的一线工作是图像美学，视频物理是我自己选的一个切口做原型验证：人物流泪。

为什么选它：哭泣场景是 AI 视频最容易穿帮的物理现象之一，错误类型集中、肉眼极易识别——眼泪从脸颊中间凭空出现、头都歪了眼泪还垂直往下流、匀速滑动像贴图、漂浮或穿透面部。拿它做第一个切口，问题边界清晰，适合验证"物理判断能不能被结构化"。

4.2为什么视频不能只打总分：事件判错范式

图像美学可以谈"整幅画面的平均质量"，视频不行。视频的假是事件：第 3 秒眼泪凭空出现、第 5 秒穿模——是特定时刻、特定位置发生的具体事件，打一个整段平均分，事件就被稀释没了。

所以我用的范式是"事件判错" 方法设计：先定义这个物理现象的事件链，再在每个事件上定眼睛能看见的判错点。流泪的事件链：

每个事件对应一个判错维度，一共 8 个 原型：

两个标 ★ 的是关键维度，设硬门槛：人脑对重力方向和表面附着的错误最敏感，这两项不达标，其他维度再高也不判合格。这和"美学/物理分数不互相找补"是同一条原则——硬伤不被高分抵掉。这条规则在原型里是真实运行的代码逻辑，不是纸面设计。

4.3阈值不拍脑袋：校准流程

三级合格线（宽松 70 / 中等 75 / 严格 80，关键维度另有门槛）在原型里用着，但我明确标它是 原型参数·待校准——没有真实批次数据之前，任何"超过多少就是错"的数字都是拍的。

我设计的校准流程 方法设计：

验证看两件事：拦得准不准、漏得多不多。

比如"头部倾斜 15° 时眼泪方向偏差超过多少算错"，正确答案不在我脑子里，在人工标注数据的分布里。指标不等于真理——阈值是校准出来的，不是拍脑袋拍出来的。

4.4这个原型证明了什么、没证明什么

原型在线：tear-physics-eval.pages.dev 框架原型——上传、抽帧、人脸识别、打分报告整条流程都在，页面上也标注了"报告为模拟数据、阈值为待校准初值"；公开版没有接入视觉大模型接口，看到的评分是演示数据，自行接入接口后评分环节才真实工作。

05自动化评测：机器接哪一段，人管哪一段

5.1目标不是替代人

自动化评测最容易讲错的一句话是"用机器替代人工"。我给这个原型定的目标是反过来的：验证哪些人工判断可以被机器辅助完成。

分工原则 方法设计：

一句话：机器测机器能量的，人管机器测不了的。

5.2原型流水线怎么跑

原型里的真实链路 原型，在线可看：

报告含：总分、维度分、关键维度门槛判定、问题帧标记、按严重程度排的改进建议。

在线版本里，抽帧和人脸识别这两步是真实在浏览器里跑的；"发给视觉大模型评分"这一步，公开版没有接入接口，用演示数据占位——流程和接口位置都定死了，接上大模型接口就是完整系统。

这里有个刻意的设计：头歪多少度不是计算机自己拿来打分的，是连同画面一起发给视觉大模型当参考——模型判断"重力方向"时能看到"这一帧头向左倾了 6.6°"，判断依据就从"看着像垂直流"变成了"头明明歪了 6.6°，泪迹方向却没跟着偏"——客观测量给主观判断垫了个底。

能力边界我在页面上直接写明，这里也写明：现在这个原型，计算机只认得出人脸、认不出眼泪——轨迹、速度、附着这些维度暂时全靠视觉大模型判断，人脸识别工具只提供头歪多少度。把眼泪单独抠出来、一帧一帧追踪它的位置，是下一步要做的。

5.3比"能跑"更重要的：我知道它会在哪错

原型我刻意不展示"模型又判对了"，而是把两类误判摆出来 示例分析，基于原型机制推演：

这两个误判不是错误清单，是我认为这个原型最有价值的部分：一个评测系统的能力边界，要看它在什么输入下会错。 知道漏报会出现在"计算机测不到、模型没抓住"的维度，就知道该先补哪段工程；知道误报会出现在相机运动场景，就知道真实批次里这类告警必须人工复核。对评测系统来说，知道自己会在哪错，和知道自己能测什么一样重要。

06评测怎么推动迭代

评测打完分，然后呢？报告归档、分数上墙，数据还是那些数据——这不算闭环。我理解的闭环是：评测发现的每一类问题，都要有对应的"数据动作"，动作的效果在下一轮评测里被看见。 这一章讲两个动作：坏数据怎么处置（6.1），坏案例怎么变成补采和模型迭代（6.2）。

6.1否决不等于删除：坏数据是资产，不是垃圾

先讲我自己一线干过的一件后悔事 真实经验。

一线采集时常遇到一类图：从网上找来的素材图，水印很难去除干净。这种图当时我直接弃用——这个判断在当时不算错：去不掉的水印怕被模型学进生成结果。但后来做海报类方向我回过味来：这类图里有一部分，恰恰是海报版式、真实投放场景训练需要的样本。当时的否决有当下的合理性，真正的问题在于"弃用=删掉"——如果只是打标签进冷藏区，海报方向启动时这批样本本来可以直接回捞。

有人问过我一个问题："垃圾数据也有用，标准太严会不会损失未来的优秀数据？"——我当时就是亲手损失数据的那个人。想清楚之后，我认为根子在于把两件事混成了一件："不进当前训练集" ≠ "没有价值"。 混为一谈会同时损失两样东西：现在的坏数据本该当模型的反面教材，却被扔了；未来的好数据可能今天就被当垃圾清掉。

我的设计是三个动作 方法设计，未经生产验证：

这个机制怎么知道没白转 方法设计·验证信号：看三个数——

• 回捞率：冷藏样本被重新启用的比例。太低说明入库分类太保守、冷藏区变成死档库；太高说明初筛根本没把关；
• 失败库复用率：坏片被回归测试题、培训教材、反面教材至少引用一次的比例。只存不用的坏片库没有存在意义；
• 任务单转化率：评测开出的采集补采任务单，实际交付并通过验收的比例（接 6.2）。

这一节的落点和 02 章那句话呼应：坏数据里存着模型最该学的东西，扔坏数据等于扔掉教材。

6.2负样本是迭代的起点：从"哪里坏了"到"补什么数据"

我先说我理解的迭代顺序，因为它和直觉是反的：

这和 6.1 是同一件事的两面：6.1 讲坏数据"存下来别扔"，这一节讲坏数据"怎么推动下一步"。链路我设计成这样 方法设计：

模型版本之间，迭代有没有真改善，用维度趋势看而不是看总分 示例：

（上表数字为说明输出形式的示例，非真实测试结果。）

总分从 3.2 涨到 3.6 不值得高兴——真正值得高兴的是"手部 2.8→3.7"这一格，因为它对应着一轮具体的归因和补采；而风格一致性没动，说明那个方向的数据动作还没排上。评测最终不是为了产生一个漂亮的分数，是为了回答："模型这一版，到底在哪个能力上真的变好了？"

第 6 章小结：评测驱动迭代靠两个动作——坏数据不删、按标签分流当资产（6.1）；坏案例归类、追到数据缺口、补采、用旧负样本验收新模型（6.2）。两个动作合起来才叫闭环：评测发现的每一个问题，都有地方去；每一次补采，都在下一轮评测里被验证。 这也是我在一线最缺的东西——我能看见问题、能反馈问题，但反馈之后"问题去哪了、修没修、修得对不对"，没有渠道看见。这套设计想补的就是这个断点。

07诚实清单：这套东西现在到哪一步了

7.1我现在证明不了什么

说清楚：这套体系目前没有经过任何真实生产批次检验。没有团队跑过、没有真实数据回流、连最基础的打分一致性都还没测出数字——它是我基于一线工作经验、对现有组织方式的观察和一些专业理解做出的预判，不是结论。

但"将来怎么验证它"我是想过的。一个评测系统不能只给别人打分、自己不被检验。我设计了五关，每关打算怎么测、现在什么状态，如实摆出来：

第一关我打算先过一致性，顺序是我想清楚的：如果连有审美背景的人之间对同一批图都判不一致，那是标准本身没写稳，该回去改评分标准，而不是急着推广、急着上自动化。先证明尺子量得准，再谈用尺子量别人。

7.2我现在会什么、不会什么

右边两栏我不回避：一栏是"我设计了但没验证"，一栏是"我暂时不会"。写这份文档不是为了证明我已经是评测负责人，而是展示一件事：一个在一线真实撞见问题的人，怎么把问题拆成结构化的解法，并且动手把能验证的部分先做成了原型。