DreamVideo推理视频生成全是噪声

[schhaohao]

您好，我有两个问题：
1、readme中只说了要下载dreamvideo的模型，但是还需要两个模型，一个是open_clip_pytorch_model.bin,另一个是v2-1_512-ema-pruned.ckpt，readme中并没有指明这两个模型要下载那个，open_clip_pytorch_model.bin我下载的是iic/text-to-video-synthesis下的open_clip_pytorch_model.bin；v2-1_512-ema-pruned.ckpt我下载的是stabilityai/stable-diffusion-2-1-base下的v2-1_512-ema-pruned.ckpt，请问是否正确？

2、按照readme中教程python inference.py --cfg configs/dreamvideo/infer/examples/joint_dog2_carTurn.yaml 生成的两个视频如下

a_._running_on_the_road_8888_0.mp4

a_._running_on_the_beach_8888_1.mp4

python inference.py --cfg configs/dreamvideo/infer/examples/joint_dog2_playingGuitar.yaml生成的3个视频如下

a_._is_playing_guitar_8888_1.mp4

a_._is_playing_guitar_on_Mars_8888_0.mp4

https://github.com/user-attachments/assets/5ee63486-8fec-4fa7-b4e1-092ebd6251cc
请问这是怎么回事，期待您的回复

[weilllllls]

你好，

1. open_clip_pytorch_model.bin和v2-1_512-ema-pruned.ckpt 和VGen中其他project例如TF-T2V，InstructVideo使用的是一致的，你可以从 https://modelscope.cn/models/iic/tf-t2v/file/view/master/open_clip_pytorch_model.bin 和 https://modelscope.cn/models/iic/tf-t2v/file/view/master/v2-1_512-ema-pruned.ckpt 进行下载。
2. 请你仔细检查安装的环境是否遵循VGen的安装说明 https://github.com/ali-vilab/VGen?tab=readme-ov-file#installation 以及检查模型权重是否被正确加载。