解决方案torch_dtype="auto"或者torch_dtype=torch.bfloat16 先torch_dtype=torch.float16再model = model.half()同样会出现这个问题
解决方案torch_dtype="auto"或者torch_dtype=torch.bfloat16
先torch_dtype=torch.float16再model = model.half()同样会出现这个问题