flickr 8k 数据集bleu-4复现问题？

[baiyuting]

我跑的时候，仅仅使用 flickr 8k，得到如上结果，是不是过小了？其他设置没变，我看论文中是0.1549

[xu-shitong]

是的，这个值应该至少在0.1以上。你运行的是CLIP-DDPM.py吗，summary输出的trial name是什么？

[baiyuting]

我运行的是 CLIP-DDPM.ipynb, trial_name 是 epoch15_lossseries_sum_sample_mean_lr1E-04-5E-05_schedulerlinspace_round3E-01_dynamic-1_clipconcat_class_weight0E+00_class_prob2E-01_train-embedFalse_samplesize100_x_0_predictTrue_X_INTERVAL100_use_x_tTrue_use_x_1True_use_probTrue

[baiyuting]

我把 CLIP-DDPM.ipynb 中 flickr30 的地方注释了

[xu-shitong]

你可以尝试下重新输出trial name看超参数是不是正确的，因为如果你有load模型进行预测那超参数不同会导致预测和训练结果差很多。或者检查summary文件中的train和evaluation loss，metrics evaluation 第一个cell有示范plot函数。

[baiyuting]

我检查了一下超参数，batch_size 设置为2了，原因是 gpu 不太够了，batch_size 会不会非常影响性能？

[xu-shitong]

这我就不太清楚了，实验的时候没有尝试过这么小的batch size