optimization_plan.md

Rainbow DQN 损失优化计划

问题分析

当前训练中观察到的问题：

• 平均损失值过高：2.6769（正常范围应为 0.1-0.5）
• Q值预测不稳定：TD误差较大，表明网络学习效果不佳
• 收敛速度慢：需要更多回合才能达到理想性能

优化策略

阶段一：超参数调优（立即执行）

1.1 学习率优化

• 当前值：1e-4
• 建议值：5e-5 或 3e-5
• 原因：降低学习率可以减少Q值更新的波动，提高训练稳定性

1.2 批量大小调整

• 当前值：32
• 建议值：64 或 128
• 原因：更大的批量可以提供更稳定的梯度估计

1.3 目标网络更新频率

• 当前值：1000步
• 建议值：2000步
• 原因：减少目标网络更新频率，提高训练稳定性

阶段二：损失函数改进

2.1 使用 Huber Loss

• 当前：平均绝对误差 (MAE)
• 建议：Huber Loss（对异常值更鲁棒）
• 实现：修改 _compute_standard_loss 函数

2.2 梯度裁剪优化

• 当前值：10
• 建议值：1.0 或 0.5
• 原因：更严格的梯度裁剪防止梯度爆炸

阶段三：网络结构优化

3.1 权重初始化改进

• 使用 Xavier 或 He 初始化
• 确保初始Q值在合理范围内

3.2 噪声网络参数调整

• sigma_init：从 0.4 降低到 0.2
• 减少噪声强度，提高学习稳定性

阶段四：训练策略优化

4.1 预热训练

• 前1000步使用更小的学习率
• 逐步增加到目标学习率

4.2 学习率调度

• 实现指数衰减或余弦退火
• 在训练后期进一步降低学习率

实施计划

第一步：创建优化配置文件

创建 optimized_config.py 包含所有优化参数

第二步：修改损失函数

在 agent.py 中实现 Huber Loss

第三步：调整训练脚本

修改 train.py 支持新的优化参数

第四步：测试验证

运行短期训练验证优化效果

预期效果

• 损失值：从 2.6+ 降低到 0.3-0.8
• 收敛速度：提升 30-50%
• 最终性能：奖励提升 15-25%
• 训练稳定性：显著改善

监控指标

1. 平均损失趋势：应持续下降
2. Q值分布：应趋于稳定
3. TD误差：应逐渐减小
4. 奖励方差：应降低
5. 梯度范数：应保持稳定

风险评估

• 过度保守：学习率过低可能导致收敛过慢
• 批量过大：可能导致内存不足
• 参数冲突：多个优化可能相互影响

回滚策略

如果优化效果不佳：

1. 逐步回退参数到原始值
2. 单独测试每个优化项
3. 保留有效的优化，移除无效的