feat: add SM skill — precision complement to PUA

[zl190]

SM — PUA 的精准补丁

TL;DR

我对 PUA 做了 A/B 实验（3 场景，S2 各 3 次复现）。发现 PUA 在误导性 traceback 场景下有一个可复现的盲区：AI 完美分析了根因，但不修改代码。SM 的诊断先行规则将 S2 正确率从 0/3 提升到 2/3。

实验数据

3 个调试场景，Claude Sonnet 4.6，PUA alone vs PUA+SM：

全场景首次运行：

场景	PUA	PUA+SM
S1: Config 类型错误	✓ 正确	✓ 正确
S2: 序列化 JSONDecodeError	✗ 没改代码	✓ 正确
S3: 共享可变状态	✓ 正确	✓ 正确

S2 详细复现（各 3 次）：

Run	PUA only	PUA+SM
1	✗ 没改代码	✓ serializer.py（正确）
2	✗ 没改代码	△ serializer.py + client.py
3	✗ 改了 client.py（错误文件）	✗ 没改代码
正确率	0/3	2/3

总成本：~$3.50。

S2 发生了什么

PUA alone 的失败模式：

AI 准确诊断了完整因果链——serializer.py 缺少 DatetimeEncoder → TypeError 被 client.py 的 except 吞掉 → 发送空 body → 服务器返回纯文本 400 → deserialize_response 解析纯文本触发 JSONDecodeError。

分析满分。但 3 次中有 2 次不修改任何文件（原因："改了之后 TestOriginalBug 会 fail"），1 次改了错误文件（修 client.py 而非 serializer.py）。

PUA 已有的规则为什么没生效：

PUA 有 "只回答问题不解决问题→你是工程师不是搜索引擎"。但 AI 不认为自己在"只回答不解决"——它认为不破坏通过的测试才是正确行为。PUA 检测"放弃"和"偷懒"，不检测"过度谨慎导致不行动"。

SM 怎么补的

SM 的规则 1：改代码前输出 [SM·诊断] 问题是___，因为___。

这个格式化输出创造了行动承诺——写了"问题是 serializer.py 缺少 DatetimeEncoder"之后，不修改 serializer.py 在认知上更困难。

4 条规则

1. 诊断先行 — 改代码前写一句话诊断 → 创造行动承诺
2. 二次升级 — 同方向失败 2 次 → 停，获取新信息
3. 依据分类 — 推理/证据/先例，行动阈值不同
4. 止损 — 越改越烂 → 回退

诚实声明

• 4 条规则中只有规则 1 在实验中被验证
• S1/S3 无差异，SM 只在 S2 类场景有效果
• N=3，样本量小，不够统计检验
• 只在 Sonnet 上测试
• SM 也有 1/3 失败

文件

skills/sm/SKILL.md — 169 行。维护者可以选择：

• 作为独立 skill 合入
• 提取规则 1 加入现有 PUA 的铁律/抗合理化表
• 不合入

实验代码和完整结果：实验报告

---

🤖 Generated with Claude Code

[tanweai]

你说的有道理的 ， 其实目前ai 就是这样的 anthropic的论文也指出了， ai有的时候说出来的东西和内心想的不一样。
所以我们需要让pua skill朝着人性黑盒测试的方向去做。
比如我们目前就在改进，让他说出来 然后我们再分析这个意图，但是这样的话需要第三方来监督，因为这属于agent一致性。
你的这个研究很棒。 但是我先不merge 因为这个可以做成旁路的p8 来检测p7的执行，p7为什么不执行， 也就是p8是一个p7 agent的react过程的校验的鞭策师。

[zl190]

P8 旁路校验比我原来定位的 precision complement 更准确——SM 的结构化判断天然适合做独立校验层。我这边在做 context degradation 对 agent 行为的影响，和 agent 一致性是同一条线。等你们定好 P7 的输出 schema，我来适配。