您好,拜读了您的大作,很受启发。
您的论文的摘要中提到:Recent studies have shown that CLIP has achieved remarkable success in performing zero-shot inference while its fine-tuning performance is not satisfactory.... These observations challenge the conventional conclusion that CLIP is not
suitable for fine-tuning...
指出CLIP虽然在零样本推理,尤其是分类任务中效果很好,但是一般认为它不适合微调。我也使用过CLIP,中文和英文版的都试过,将某些自定义的token词和图像进行配对,效果确实不错,感觉CLIP学到的特征很稳健。但是我没有在自己的数据集上微调过CLIP,感觉上,如果特征是好的,那么微调应该效果更好,网络使用的激活都是连续的非线性函数,不会出现类似阶梯函数那样的不连续情况,微调过后,学到的特征应该表达的更好,应该也不会激活后类别判断出错,这只是我的感觉,没有任何证据,所以读到您上面的话有些不解,希望能得到您的解答,非常感谢!
您好,拜读了您的大作,很受启发。
您的论文的摘要中提到:Recent studies have shown that CLIP has achieved remarkable success in performing zero-shot inference while its fine-tuning performance is not satisfactory.... These observations challenge the conventional conclusion that CLIP is not
suitable for fine-tuning...
指出CLIP虽然在零样本推理,尤其是分类任务中效果很好,但是一般认为它不适合微调。我也使用过CLIP,中文和英文版的都试过,将某些自定义的token词和图像进行配对,效果确实不错,感觉CLIP学到的特征很稳健。但是我没有在自己的数据集上微调过CLIP,感觉上,如果特征是好的,那么微调应该效果更好,网络使用的激活都是连续的非线性函数,不会出现类似阶梯函数那样的不连续情况,微调过后,学到的特征应该表达的更好,应该也不会激活后类别判断出错,这只是我的感觉,没有任何证据,所以读到您上面的话有些不解,希望能得到您的解答,非常感谢!