videogan资料

[zdx3578]

• 1.论文 https://arxiv.org/abs/1611.06624
  代码 https://github.com/pfnet-research/tgan https://github.com/dandelin/Temporal-GAN-Pytorch

• 2.论文 http://carlvondrick.com/tinyvideo/paper.pdf
  网站 http://web.mit.edu/vondrick/tinyvideo/
  代码https://github.com/cvondrick/videogan

gan video 两周
第一周， 熟悉已有论文，选用一个算法复现。使用自己的数据集，调参。
第二周，分析隐变量的语义相关信息，自动驾驶的转向角度和z的关系 。

[zdx3578]

ref：
VAE:
Adversarial Variational Bayes: Unifying VAE and GAN
beta vae

GAN:

• 3.Video Generation From Text https://arxiv.org/abs/1710.00421

• 4.Learning to Generate Time-Lapse Videos Using Multi-Stage Dynamic Generative Adversarial Networks https://arxiv.org/abs/1709.07592

• 5.MoCoGAN: Decomposing Motion and Content for Video Generation https://arxiv.org/abs/1707.04993 https://github.com/sergeytulyakov/mocogan

https://scholar.google.com/scholar?um=1&ie=UTF-8&lr&cites=7977179880967579431
https://scholar.google.com/scholar?um=1&ie=UTF-8&lr&cites=12629733064507558057

[waxz]

note
1.Temporal Generative Adversarial Nets with Singular Value Clipping

• 从随机采样的z0生成整个视频序列
• conditional tgan，根据视频类别标签和z0生成成视频

2.Generating Videos with Scene Dynamics

• 从随机采样的z0生成整个视频序列
• 引入了静态的背景和动态的前景的先验知识，用于对物体动作跟踪问题的建模

3.Learning to Generate Time-Lapse Videos Using Multi-Stage Dynamic Generative Adversarial Networks

• 给定一张静态图像，生成视频序列
• 两个Gan叠加，第一个Base Gan生成粗糙/模糊的图像，第二个REfine Gan在第一个的基础上进行精细化
• Base Gan，输入的是初始图像复制叠加形成的图像序列X，输出图像序列Y1。生成器采用Unet结构，损失函数是判别器的loss和L1 loss
• Refine net输入Base Gan输出的图像序列Y1，输出图像序列Y2。损失函数为判别器的loss和L1 loss，加上Gram matrix loss ，根据Y，Y1，Y2在判别器某一层输出计算的Gram matrix。采用Gram matrix loss的目的是避免Y2只是简单的逼近Y1，因为Y1已经足够真实。

4. MoCoGAN: Decomposing Motion and Content for Video Generation

• 引入动作和内容先验知识，将噪声Z分为Zc内容噪声和Zm动作噪声
• 利用RNN从动作空间获得Zm分布Rm，随机变量e --> RNN --> Zm
• 通过锁定Zm或Zc改变动作或环境
• 整体模型含4个网络，分别为：
  • 获取动作分布 - GRU
  • 生成器Gi 、 判别器Di - DCGAN - 控制图像生成质量
  • 判别器Dv - spatio-temporal CNN 控制视频&动作生成质
• Conditional MoCoGAN, 将label与E一同输入RNN

[fzd9752]

各种GAN和VAE的代码：

Tensorflow
https://github.com/hwalsuklee/tensorflow-generative-model-collections

PyTorch
https://github.com/znxlwm/pytorch-generative-model-collections