想问下是否有讨论群

[xiefan46]

想问下这边有交流群吗？最近在研究cute flash attention的过程中遇到很多问题，想进群问下～

[66RING]

@xiefan46 目前没有哦

[xiefan46]

@66RING 想请教下，如果在两个gemm融合的过程中，第一个gemm的output C矩阵的layout跟第二个gemm要求的A矩阵的layout不匹配的话这种情况要怎么处理呀？目前我能想到的方式是把寄存器中的数据先写到shared memory中，再按第二个gemm要求的layout重新读入。不知道cute是否有办法可以直接在寄存器之间交换数据而不需要使用shared memory的函数？

[66RING]

@xiefan46 这个仓库有相关的调整你可以一下，因为我还没时间具体实操：https://github.com/weishengying/cutlass_flash_atten_fp8

下面是一个更推荐的方法：只需要知道各个rank怎么算的即可，前置可以看https://github.com/NVIDIA/cutlass/blob/main/media/docs/cute/02_layout_algebra.md

然后3.4的PermutationsMNK机制似乎可能改ABC矩阵的布局，更推荐先看看这个(如果有效pls let me know:), 因为我也试过)

NVIDIA/cutlass#1345

比如它可以把两段物理地址分开的T0的映射到物理地址连续上

可以映射成这样