Muon is Scalable for LLM Training论文的分布式muon问题

[yuanwujun]

请问 Algorithm 1 Distributed Muon 中6: G = gather(g', dp_group) 是采用的allgather吗？

[tangcisi]

是的，我们的实现可以参考这里 https://github.com/NVIDIA/Megatron-LM/pull/1428/changes#diff-8fe91f4096ff232fc6f97b17e60e619eda92b6dffc80b4573a23e06aa56d2559R216 ，除了 bucket 相关部分以外和我们的实现完全一致