您好!非常感谢您分享 EWMoE 相关的代码,对我的研究很有启发。在学习代码的过程中,遇到了一些不太明确的地方,想向您请教几个问题,方便的话希望能得到您的解答:
在main_train_next.py中引用了models_mae_afno_8_8_finetune_next模块和engine_finetune_afno_8_8_next模块,但未找到对应的实现代码,想了解这些模块中模型定义和训练逻辑的具体细节。
mode_moe_next.py中的MaskedAutoencoderViT类使用了PatchEmbed_v1、Block、Decoder_Block等组件,且在initialize_weights方法中调用了get_2d_sincos_pos_embed_v1函数,但这些类和函数的实现没有在提供的代码中体现,想确认它们的具体实现方式。
您好!非常感谢您分享 EWMoE 相关的代码,对我的研究很有启发。在学习代码的过程中,遇到了一些不太明确的地方,想向您请教几个问题,方便的话希望能得到您的解答:
在main_train_next.py中引用了models_mae_afno_8_8_finetune_next模块和engine_finetune_afno_8_8_next模块,但未找到对应的实现代码,想了解这些模块中模型定义和训练逻辑的具体细节。
mode_moe_next.py中的MaskedAutoencoderViT类使用了PatchEmbed_v1、Block、Decoder_Block等组件,且在initialize_weights方法中调用了get_2d_sincos_pos_embed_v1函数,但这些类和函数的实现没有在提供的代码中体现,想确认它们的具体实现方式。