modeltest-v5 - V5 评测实验归档(两次失败 · stalled)

V5 评测项目的完整归档:工作区 + 两次失败实验的全量代码、运行记录、题面契约和 评测器。V5 连续两次尝试都失败了,已停止,短期内不会重启。公开这份失败记录, 是因为其中的教训(尤其是 docs/FAILURE_LESSONS.md) 对任何想设计 LLM 工程能力基准的人都有参考价值。

当前有效的综合能力基准仍是 V4.1b(见主 repo modeltest),不存在"必须有 V5"这件事。

Status

• V5 两次尝试均失败,2026-08-01 停止投入。
• 本 repo 是失败实验的完整归档,不主动维护,不接受"救题"PR。
• HIL 工具框架(v5bench/hil/,virtual 后端)有独立复用价值,可独立运行。

两次失败

第一次:sleepgw 状态机专项(2026-07-29 冻结)

• 想做综合工程能力尺,实际做成了"照规格从零实现睡眠网关状态机"的纯 Python 专项题
• 两个顶级模型(GLM-5.2、DeepSeek-V4-Pro)都拿 29/29 满分,且输出完全相同——任务 天花板被顶级模型摸到,无法区分高低
• 评分标准用了"自指 Oracle"(期望值 = 跑正确版后冻结),导致校准永远发现不了 正确版自身的错误
• 定位为"FSM/规格实现专项",不进主榜
• 完整归档:archives/specialty_sleepgw_20260729/

第二次:FRESH-1 遥测协议题(2026-08-01 冻结)

• 想做 V4.1b 高级版,实际缩成"修 5 个人造缺陷"的小题
• 最弱的模型 4 分钟就满分,反超强模型——题目对这批模型整体过易,没有区分度
• 缺陷是从正确版反推注入的,和公开事故一一对应,模型只需恢复 5 个分支,不需要 高级工程改造
• 评分标准有偏差:已确认的事件被强制重新投递,奖励了错误行为,导致弱模型反超
• 两个强模型失分项完全相同,差距落在噪声区间
• 花了约 10 美元跑付费强模型,没产生可用排名
• 完整归档:archives/fresh1_failed_20260801/
• 详细教训与重启约束:docs/FAILURE_LESSONS.md(必读)

共同教训

两次失败犯的是同一类错误:

1. 专项冒充综合 —— 都偏离了"广覆盖综合工程维护尺"的初衷,缩成单一机制专项 (先状态机,后遥测协议)
2. 检测器当刻度尺 —— 题目能检测出"会不会",但测不出"谁更强"。检测器和刻度尺 是两种不同的仪器
3. 评分标准本身有问题 —— 第一次自指 Oracle,第二次评分偏差,都是评分自身的 bug 被当成能力差异
4. 模型之间无法区分 —— 第一次顶级模型都满分饱和,第二次弱模型反超,都是没有 有效的能力梯度

目录结构

modeltest-v5/
├── README.md
├── pyproject.toml
├── docs/
│   ├── FAILURE_LESSONS.md     ← 第二次失败的详细教训与未来重启约束(核心)
│   ├── HIL.md                 ← 硬件在环测试台架说明
│   └── _archive/              ← 旧过程文档 + HIL 远期设计(CODEX/REVIEW/SLEEPGW)
├── v5bench/hil/               ← HIL 工具框架(virtual 后端可跑,已验证)
├── tests/test_hil.py          ← HIL 测试
├── hil/                       ← 接线清单与时间线数据
├── config/hil.example.json    ← HIL 配置样例
├── tools/pi/                  ← 树莓派串口代理(split-ssh 后端用)
└── archives/                  ← 两次失败实验的完整归档(代码 / 运行记录 / 题面 / 评测器)
    ├── specialty_sleepgw_20260729/   ← 第一次:FSM / 规格实现专项
    └── fresh1_failed_20260801/       ← 第二次:FRESH-1 遥测协议题

HIL 工具

HIL 工具已实现并可在本工作区直接跑(virtual 后端,无需硬件):

pip install -e ".[hil]"
python -m v5bench.hil.cli preflight --backend virtual
python -m v5bench.hil.cli validate-wiring --manifest hil/wiring/pico2_s3_v1.json
python -m v5bench.hil.cli run --backend virtual --timeline hil/timelines/software_smoke.json
python -m pytest tests/test_hil.py -q

实现了 preflight / validate-wiring / run / recover(刷砖自动恢复)四命令、 virtual / serial / split-ssh 三后端、稳定设备身份定位(VID:PID+SER)。物理 serial / split-ssh 路径尚未硬件验证(缺板子)。固件源码与产物(firmware_host / artifacts)在归档里,需要物理 HIL 时再取。

什么时候才该重启 V5

简单说:除非明确需要,且满足 docs/FAILURE_LESSONS.md 第 6-10 节的全部硬性门槛,否则不重启。门槛要点:

• 必须是真正的综合仓库维护题,不是任何单一机制专项
• 题目来自真实历史缺陷,不是从正确版反推注入
• 评分标准来自公开契约和手算边界,不是跑正确版冻结
• 先用免费/便宜模型验证题目有区分度,再跑付费强模型
• 弱模型一旦反超强模型,立即停止查评分标准,不靠加模型救题

在那之前,V4.1b 继续作为最后一份有效的综合能力主尺。