torch.distributed.tensor.experimental和flash-attn 的问题

[cbl111]

1.遇到torch.distributed.tensor.experimental这个问题，是因为官方文档的环境配置不对，给的torch版本有问题，torch.distributed.tensor.experimental在torch2.8才有，用pip install --upgrade torch torchvision torchaudio升级一下，升级之后，对应的其他包也要升级，比如pip install --upgrade xfuser
2.对于flash-attn的问题，因为升级了torch，所以flash-attn要下载源码编译，用pip install flash-attn --no-build-isolation就行，编译很慢30分钟-2小时

[genghisun]

torch.distributed.tensor.experimental其实pip install xfuser==0.4.4就行