训练loss大幅震荡且没有下降趋势

[Xtraordinaire9911]

老师您好，我按照目前的代码用默认参数训练完DQN后，发现过了warm-up阶段后训练loss猛增且一直在1e+0和5e+2的高位间剧烈震荡（见下方图），在100_000步内无法收敛，且根本看不出其在增加训练量后会有下降的趋势；另外，尽管随epsilon衰减episode_reward和episode_length平均水平有所提升， 但同loss一样，两者也是剧烈震荡。礼貌询问应该试着往哪些方向调哪些超参？多谢！

loss随训练步数的变化:

episode_reward随训练步数的变化:

episode_length随训练步数的变化:

[chensisi0730]

解决了吗

[Xtraordinaire9911]

解决了吗

暂时还没

[chensisi0730]

并且发现DQN的compute_loss 函数中，计算目标函数时，为什么没有和书中所写，进行优化，将TD target 看成常数来计算 ？

[did85]

个人理解：Loss震荡是因为e-greedy导致。

打开render_mode，打开do_eval，你可以看到训练后期失败的episode依然不少，但是eval很稳，小幅度晃动都没有。至少说明存储的model已经收敛到一个较好的Q。

DQN计算loss时，target_Q已经detach，所以不会受到backprop的影响，optimizer也不会更新它。它只会在soft_update的时候，通过已经更新的Q来更新。