Attention模块代码中的shortcut

[GoPikachue]

作者您好！
我注意到代码中的Attention模块里面存在一个论文中未标注的shortcut被用于残差连接。


想请问一下，这个连接是必要的吗

[mrbird643]

作者您好！ 我注意到代码中的Attention模块里面存在一个论文中未标注的shortcut被用于残差连接。 想请问一下，这个连接是必要的吗

我在研究源码时一只无法解惑作者这个DW-Conv 和DW-D-Conv的实现是怎么实现的以及LKA怎么用到这两个东西，请问您知道？ @GoPikachue

[GoPikachue]

我理解的：DW-Conv用于通道计算，DW-D-Conv捕捉远距离依赖。@mrbird643

[mrbird643]

我理解的：DW-Conv用于通道计算，DW-D-Conv捕捉远距离依赖。@mrbird643

醍醐灌顶，非常感谢。