Video Style Transfer

非深度方法

• Processing images and video for an impressionist effect. (ACM Press/Addison-Wesley Publishing Co 1997)
• Image and video based painterly animation. (NPAR 2004)
  • 解决97年那篇中的抖动问题
• Painterly rendering for video and interaction. (NPAR 2000)
  • 基于Painterly rendering with curved brush strokes of multiple sizes. 扩展到video的工作

深度方法

序号	时间	文章	会议/期刊	源码	描述
1	2016	Artistic Style Transfer for Videos	GCPR	torch7	光流(基于优化)
2	2017	Characterizing and Improving Stability in Neural Style Transfer	ICCV	无	光流(只在训练时用)
3		Coherent Online Video Style Transfer	ICCV	无	光流(训练测试都用)
4		Real-Time Neural Style Transfer for Videos	CVPR	pytorch	光流(只在训练时用)
5	2018	Artistic Style Transfer for Videos and Spherical Images	IJCV	torch7	1的期刊版本(前向网络)
6		Stereoscopic Neural Style Transfer	CVPR	无	3扩展到三维立体图像的版本
7		Evolvement Constrained Adversarial Learning for Video Style Transfer	ACCV	无	光流
8		Reconet: Real-time coherent video style transfer network	ACCV	pytorch	光流(只在训练时用)
9	2019	Learning Linear Transformations for Fast Image and Video Style Transfer	CVPR	pytorch	LST
10		Video style transfer by consistent adaptive patch sampling	Visual Computer	无
11	2020	Optical Flow Distillation- Towards Efficient and Stable Video Style Transfer	ECCV?	无	光流(只在蒸馏时使用光流)
12		Consistent Video Style Transfer via Compound Regularization	AAAI	无	加入随机warp的正则化项(训练测试都无光流)
13		Fast Video Multi-Style Transfer	WACV	pytorch

• Artistic style transfer for videos. (GCPR 2016)

  • 将基于优化的方法扩展到video领域
  • 引入短时光流相邻帧的时序一致性
    • 初始化设置为上一帧风格化后的图片
  • 引入长时光流解决目标消失又出现的问题
    • 每个帧设置一个对比序列，对序列中的都加入光流约束
  • 提出multi-pass解决图像边界对比度和多样性少的问题
    • 随机初始化与初始化为上一帧图片做一个blend
  • 速度慢

• Characterizing and Improving Stability in Neural Style Transfer (ICCV 2017)

  • 从理论分析了基于Gram矩阵的方法的固有不稳定性
  • 使用到了backpropagation throuch time
  • 使用了光流来约束时序一致性
  • 时序一致性损失使用了mask，数据集里面带有mask，有两个数据集
    • Anaturalistic open source movie for optical flow evaluation.
    • Lessons and insights from creating a synthetic optical flow benchmark.
  • 待解决问题
    • 第一幅图是否是单独处理的然后作为下一帧的参考帧输入
    • mask应该是移动区域为0，静止区域为1，只用约束静止区域的时序一致性即可

• Coherent Online Video Style Transfer (ICCV 2017)

  • 三个子网络：风格化子网络、flow-subnet、mask-subnet
  • 训练时风格化网络参数固定，只训练flow-subnet、以及mask-subnet
  • 训练时应该一对儿一对儿得输入，输入一对儿，backforward一下。

• Real-Time Neural Style Transfer for Videos (CVPR 2017)

  • 清华与腾讯AI-Lab的文章
  • 和Characterizing and Improving Stability in Neural Style Transfer基本一样

• Consistent Video Style Transfer via Compound Regularization (AAAI 2020)

  • 不使用光流，使用一个随机warp来模拟类似光流建立混合正则损失，因此可以不使用视频序列训练而只使用不相关的图像集合训练。

  • 使用一个跨通道filter来实现风格迁移

• Optical Flow Distillation: Towards Efficient and Stable Video Style Transfer

  • 使用一种残差蒸馏的方式来蒸馏，共用到四种网络：带有光流的教师网络、不带光流的教师网络，带有光流的学生网络，不带光流的学生网络(最后输出的网络)
  • 使用低秩loss来逼近原始输入视频