保存的是lora本身参数，那推理的时候呢？怎样model和lora层层结合？

[henbucuoshanghai]

感谢

[owenliang]

推理前有这段代码的。

                lora_weight=(layer.lora_a@layer.lora_b)*layer.alpha/layer.r
                before_weight=layer.raw_linear.weight.clone()
                layer.raw_linear.weight=nn.Parameter(layer.raw_linear.weight.add(lora_weight.T)).to(DEVICE)    # 把Lora参数加到base model的linear weight上
                setattr(cur_layer,name_cols[-1],layer.raw_linear)

把lora层的权重先组装一下，直接累加到原linear权重上，之后只用linear做推理。

这个就和训练时x分别和linear以及lora做计算再求和是结果一样的，只不过是权重求和了，减少了1个分支的计算。