评测对象:A3 视频标注质量(n=30)
86.7%
caption 语义正确率(主线 v2b2)
超预注册合格线 80% · 20 对+6 部分+4 错
25.8%
时间戳对齐 R2(主线)
ERRATUM 敏感性口径 R2'=R2 同值(如实报)
70.6%
时间增强档 R2(wrist+roletag)
历史最高 · 2.7x 于主线
n=30
同集评测口径
held-out 泛化验证待留出集(如实标注)
十变体引擎横评 预注册判据 d26942b
| 变体 | R1 caption 语义 | R2 时间对齐 | R3 物体 Jaccard |
|---|
| v2b2(对齐+无内缩)【现主线】 | 86.7% | 25.8% | 17.3% |
| wrist+roletag(腕3+3+相机角色标注) | 80.0% | 70.6% | 3.4% |
| wrist+hires(腕3+3+高分辨率) | 80.0% | 65.0% | 9.8% |
| wrist(外部3+腕3) | 80.0% | 63.3% | 10.9% |
| roletag(帧角色标注) | 80.0% | 56.2% | 14.9% |
| inset03(内缩0.3s) | 80.0% | 42.7% | 12.8% |
| e8fusion(8帧端点+内缩) | 80.0% | 36.7% | 10.3% |
| hires(高分辨率) | 83.3% | 31.7% | 13.4% |
| v2a(盲标+内缩) | — | 39.8% | 5.5% |
| LoRA v3(训练集内) | — | 39.0% | 15.6% |
R1=caption 语义正确率 · R2=segments IoU≥0.5 · R3=objects Jaccard · v2a/LoRA 为盲标/训练集内口径无 R1 · 读数源:_tenvariant_full_compare.json
跨引擎对照:InternVL2_5-2B 2026-10-08 新增
同 6f-v2a-timeanchor 协议直跑:30 件/guard 28/30/201s;机判(n=28):R2 26.2% · R3 0.059。
对位读数(如实报):同协议 Qwen7B v2a R2=39.8% → 2B 弱于 7B(时间维度无增益);R1 判级候正式轮。轻量备选定位,引擎升级线仍指 7B 时间增强档与更大模型层。
三条实测发现
① 判据线读数
双赢线(R1≥86.7 且 R2≥40)全实验未命中(R1 恒 80.0,v2b2 独占 86.7)——R1-R2 权衡结构性铁证;但 wrist 系将 R2 从 25.8 推至 70.6(2.7x),时间维度已达可用水平
② R1 天花板归因
五连 80.0 非噪声:~6 集顽固错例(ep18/30/46/48 等,主客体绑定)在全部变体恒错=7B 能力边界;R1 突破须换模型层(72B/32B,候链路)
③ R3 独立战线
objects 全变体 0.03-0.17,独立战线,候 gold 扩样+格式统一
产品口径(双 SKU)
校验型标注(主线)画面-任务表校验型 caption 标注
¥40-50/集R1 86.7% 超线解冻;segments/objects 维度不随 caption 出货,只作附赠参考
时间增强档(加购)腕部 3 相机+帧角色标注
+¥20/集R2 70.6% · 首发挂周报#2(10/13)
判据链(三层)
① 预注册 PREREG v1 · lock d26942b → ② ERRATUM 边界帧规则 v1(md5 240 帧 20 组坐实,双读数并报) → ③ 人工复核窗 CLOSED(2026-10-08,EP3/EP26 抽检零异议零 erratum)
人工标注口径 claude-assisted-v1 · 防锚定纪律:人工标注先于读 AI 标注件;标注者自锚定误读以 md5 硬证据仲裁
覆盖与样本
HF 公开仓 16 集 → QC17 在途(链路已恢复) · gold 扩样二批 5 集(ep19,29,31,32,33,10/8 落盘)
n30 = 原 n10 十集 + 扩样二十集,同集评测;泛化验证待留出集(不夸大)
数据源与校验
| 数据源 | sha256 前 16 位 | 文件 |
|---|
| 十变体横评(n=30) | 36914a0cfcaaef13 | _tenvariant_full_compare.json |
| 预注册判据 PREREG v1(lock d26942b) | 660fef21115093a2 | PREREG_goldset_a3_v1.md |
| ERRATUM 边界帧规则 v1 | dae69464f092f641 | ERRATUM_boundary_frames_r2_rule_v1.md |
| gold 扩样二批(人工标注) | bdb3a585b17c3a04 | goldset_human_b2.jsonl |
本页由 web/scripts/gen_bench_v0.py 生成,复跑即再生;判读类页面数据源带判据 sha(WEB-SYS 验收判据④)