Table of Contents
Shortcuts

超分辨率模型

BasicVSR (CVPR’2021)

BasicVSR (CVPR'2021) 
@InProceedings{chan2021basicvsr,
  author = {Chan, Kelvin CK and Wang, Xintao and Yu, Ke and Dong, Chao and Loy, Chen Change},
  title = {BasicVSR: The Search for Essential Components in Video Super-Resolution and Beyond},
  booktitle = {Proceedings of the IEEE conference on computer vision and pattern recognition},
  year = {2021}
}

对于 REDS4，我们对 RGB 通道进行评估。对于其他数据集，我们对 Y 通道进行评估。我们使用 PSNR 和 SSIM 作为指标。 SPyNet 的 预训练权重在这里。

算法 REDS4 (BIx4)
PSNR/SSIM (RGB)		 Vimeo-90K-T (BIx4)
PSNR/SSIM (Y)		 Vid4 (BIx4)
PSNR/SSIM (Y)		 UDM10 (BDx4)
PSNR/SSIM (Y)		 Vimeo-90K-T (BDx4)
PSNR/SSIM (Y)		 Vid4 (BDx4)
PSNR/SSIM (Y)		 下载
basicvsr_reds4 31.4170/0.8909 36.2848/0.9395 27.2694/0.8318 33.4478/0.9306 34.4700/0.9286 24.4541/0.7455 模型 | 日志
basicvsr_vimeo90k_bi 30.3128/0.8660 37.2026/0.9451 27.2755/0.8248 34.5554/0.9434 34.8097/0.9316 25.0517/0.7636 模型 | 日志
basicvsr_vimeo90k_bd 29.0376/0.8481 34.6427/0.9335 26.2708/0.8022 39.9953/0.9695 37.5501/0.9499 27.9791/0.8556 模型 | 日志


BasicVSR++

BasicVSR++ 
@article{chan2021basicvsrplusplus,
  author = {Chan, Kelvin C.K. and Zhou, Shangchen and Xu, Xiangyu and Loy, Chen Change},
  title = {BasicVSR++: Improving Video Super-Resolution with Enhanced Propagation and Alignment},
  booktitle = {arXiv preprint arXiv:2104.13371},
  year = {2021}
}

SPyNet 的 预训练权重在这里。

算法 REDS4 (BIx4) PSNR/SSIM (RGB) Vimeo-90K-T (BIx4) PSNR/SSIM (Y) Vid4 (BIx4) PSNR/SSIM (Y) UDM10 (BDx4) PSNR/SSIM (Y) Vimeo-90K-T (BDx4) PSNR/SSIM (Y) Vid4 (BDx4) PSNR/SSIM (Y) Download
basicvsr_plusplus_c64n7_8x1_600k_reds4 32.3855/0.9069 36.4445/0.9411 27.7674/0.8444 34.6868/0.9417 34.0372/0.9244 24.6209/0.7540 model | log
basicvsr_plusplus_c64n7_4x2_300k_vimeo90k_bi 31.0126/0.8804 37.7864/0.9500 27.7882/0.8401 33.1211/0.9270 33.8972/0.9195 23.6086/0.7033 model | log
basicvsr_plusplus_c64n7_4x2_300k_vimeo90k_bd 29.2041/0.8528 34.7248/0.9351 26.4377/0.8074 40.7216/0.9722 38.2054/0.9550 29.0400/0.8753 model | log
NTIRE 2021 模型权重文件

请注意，以下模型是从较小的模型中微调而来的。 这些模型的训练方案将在 MMEditing 达到 5k star 时发布。 我们在这里提供预训练的模型。

NTIRE 2021 Video Super-Resolution

NTIRE 2021 Quality Enhancement of Compressed Video - Track 1

NTIRE 2021 Quality Enhancement of Compressed Video - Track 2

NTIRE 2021 Quality Enhancement of Compressed Video - Track 3


DIC (CVPR’2020)

DIC (CVPR'2020) 
@inproceedings{ma2020deep,
  title={Deep face super-resolution with iterative collaboration between attentive recovery and landmark estimation},
  author={Ma, Cheng and Jiang, Zhenyu and Rao, Yongming and Lu, Jiwen and Zhou, Jie},
  booktitle={Proceedings of the IEEE/CVF conference on computer vision and pattern recognition},
  pages={5569--5578},
  year={2020}
}

在 RGB 通道上进行评估，在评估之前裁剪每个边界中的 scale 像素。 我们使用 PSNR 和 SSIM 作为指标。

在 dic_gan_x8c48b6_g4_150k_CelebAHQ 的日志中，DICGAN 在 CelebA-HQ 测试集的前9张图片上进行了验证，因此下表中的 PSNR/SSIM 与日志数据不同。

算法 scale CelebA-HQ 下载
dic_x8c48b6_g4_150k_CelebAHQ x8 25.2319 / 0.7422 模型 | 日志
dic_gan_x8c48b6_g4_150k_CelebAHQ x8 23.6241 / 0.6721 模型 | 日志


EDSR (CVPR’2017)

EDSR (CVPR'2017) 
@inproceedings{lim2017enhanced,
  title={Enhanced deep residual networks for single image super-resolution},
  author={Lim, Bee and Son, Sanghyun and Kim, Heewon and Nah, Seungjun and Mu Lee, Kyoung},
  booktitle={Proceedings of the IEEE conference on computer vision and pattern recognition workshops},
  pages={136--144},
  year={2017}
}

在 RGB 通道上进行评估，在评估之前裁剪每个边界中的 scale 像素。 我们使用 PSNR 和 SSIM 作为指标。

算法 Set5 Set14 DIV2K 下载
edsr_x2c64b16_1x16_300k_div2k 35.7592 / 0.9372 31.4290 / 0.8874 34.5896 / 0.9352 模型 | 日志
edsr_x3c64b16_1x16_300k_div2k 32.3301 / 0.8912 28.4125 / 0.8022 30.9154 / 0.8711 模型 | 日志
edsr_x4c64b16_1x16_300k_div2k 30.2223 / 0.8500 26.7870 / 0.7366 28.9675 / 0.8172 模型 | 日志


EDVR (CVPRW’2019)

EDVR (CVPRW'2019) 
@InProceedings{wang2019edvr,
  author    = {Wang, Xintao and Chan, Kelvin C.K. and Yu, Ke and Dong, Chao and Loy, Chen Change},
  title     = {EDVR: Video restoration with enhanced deformable convolutional networks},
  booktitle = {The IEEE Conference on Computer Vision and Pattern Recognition Workshops (CVPRW)},
  month     = {June},
  year      = {2019},
}

在 RGB 通道上进行评估。 我们使用 PSNR 和 SSIM 作为指标。

算法 REDS4 下载
edvrm_wotsa_x4_8x4_600k_reds 30.3430 / 0.8664 模型 | 日志
edvrm_x4_8x4_600k_reds 30.4194 / 0.8684 模型 | 日志
edvrl_wotsa_c128b40_8x8_lr2e-4_600k_reds4 31.0010 / 0.8784 模型 | 日志
edvrl_c128b40_8x8_lr2e-4_600k_reds4 31.0467 / 0.8793 模型 | 日志


ESRGAN (ECCVW’2018)

ESRGAN (ECCVW'2018) 
@inproceedings{wang2018esrgan,
  title={Esrgan: Enhanced super-resolution generative adversarial networks},
  author={Wang, Xintao and Yu, Ke and Wu, Shixiang and Gu, Jinjin and Liu, Yihao and Dong, Chao and Qiao, Yu and Change Loy, Chen},
  booktitle={Proceedings of the European Conference on Computer Vision Workshops(ECCVW)},
  pages={0--0},
  year={2018}
}

在 RGB 通道上进行评估，在评估之前裁剪每个边界中的 scale 像素。 我们使用 PSNR 和 SSIM 作为指标。

算法 Set5 Set14 DIV2K 下载
esrgan_psnr_x4c64b23g32_1x16_1000k_div2k 30.6428 / 0.8559 27.0543 / 0.7447 29.3354 / 0.8263 模型 | 日志
esrgan_x4c64b23g32_1x16_400k_div2k 28.2700 / 0.7778 24.6328 / 0.6491 26.6531 / 0.7340 模型 | 日志


GLEAN (CVPR’2021)

GLEAN (CVPR'2021) 
@InProceedings{chan2021glean,
  author = {Chan, Kelvin CK and Wang, Xintao and Xu, Xiangyu and Gu, Jinwei and Loy, Chen Change},
  title = {GLEAN: Generative Latent Bank for Large-Factor Image Super-Resolution},
  booktitle = {Proceedings of the IEEE conference on computer vision and pattern recognition},
  year = {2021}
}

有关训练和测试中使用的元信息，请参阅此处。 结果在 RGB 通道上进行评估。

算法 PSNR 下载
glean_cat_8x 23.98 模型 | 日志
glean_ffhq_16x 26.91 模型 | 日志
glean_cat_16x 20.88 模型 | 日志


IconVSR (CVPR’2021)

IconVSR (CVPR'2021) 
@InProceedings{chan2021basicvsr,
  author = {Chan, Kelvin CK and Wang, Xintao and Yu, Ke and Dong, Chao and Loy, Chen Change},
  title = {BasicVSR: The Search for Essential Components in Video Super-Resolution and Beyond},
  booktitle = {Proceedings of the IEEE conference on computer vision and pattern recognition},
  year = {2021}
}

对于 REDS4，我们对 RGB 通道进行评估。对于其他数据集，我们对 Y 通道进行评估。我们使用 PSNR 和 SSIM 作为指标。 IconVSR 组件的预训练权重可以在这里找到：SPyNet，用于 REDS 的 EDVR-M，以及 用于 Vimeo-90K 的 EDVR-M。

算法 REDS4 (BIx4)
PSNR/SSIM (RGB)		 Vimeo-90K-T (BIx4)
PSNR/SSIM (Y)		 Vid4 (BIx4)
PSNR/SSIM (Y)		 UDM10 (BDx4)
PSNR/SSIM (Y)		 Vimeo-90K-T (BDx4)
PSNR/SSIM (Y)		 Vid4 (BDx4)
PSNR/SSIM (Y)		 下载
iconvsr_reds4 31.6926/0.8951 36.4983/0.9416 27.4809/0.8354 35.3377/0.9471 34.4299/0.9287 25.2110/0.7732 模型 | 日志
iconvsr_vimeo90k_bi 30.3452/0.8659 37.3729/0.9467 27.4238/0.8297 34.2595/0.9398 34.5548/0.9295 24.6666/0.7491 模型 | 日志
iconvsr_vimeo90k_bd 29.0150/0.8465 34.6780/0.9339 26.3109/0.8028 40.0640/0.9697 37.7573/0.9517 28.2464/0.8612 模型 | 日志


LIIF (CVPR’2021)

LIIF (CVPR'2021) 
@inproceedings{chen2021learning,
  title={Learning continuous image representation with local implicit image function},
  author={Chen, Yinbo and Liu, Sifei and Wang, Xiaolong},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  pages={8628--8638},
  year={2021}
}

算法 scale Set5
PSNR / SSIM		 Set14
PSNR / SSIM		 DIV2K
PSNR / SSIM		 下载
liif_edsr_norm_x2-4_c64b16_g1_1000k_div2k x2 35.7148 / 0.9367 31.5936 / 0.8889 34.5896 / 0.9352 模型 | 日志
△ x3 32.3596 / 0.8914 28.4475 / 0.8040 30.9154 / 0.8720 △
△ x4 30.2583 / 0.8513 26.7867 / 0.7377 29.0048 / 0.8183 △
liif_edsr_norm_c64b16_g1_1000k_div2k x2 35.7120 / 0.9365 31.6106 / 0.8891 34.6401 / 0.9353 模型 | 日志
△ x3 32.3655 / 0.8913 28.4605 / 0.8039 30.9597 / 0.8711 △
△ x4 30.2668 / 0.8511 26.8093 / 0.7377 29.0059 / 0.8183 △
△ x6 27.0907 / 0.7775 24.7129 / 0.6438 26.7694 / 0.7422 △
△ x12 22.9046 / 0.6255 21.5378 / 0.5088 23.7269 / 0.6373 △
△ x18 20.8445 / 0.5390 20.0215 / 0.4521 22.1920 / 0.5947 △
△ x24 19.7305 / 0.5033 19.0703 / 0.4218 21.2025 / 0.5714 △
△ x30 18.6646 / 0.4818 18.0210 / 0.3905 20.5022 / 0.5568 △

注：

  • △ 指同上。

  • 这两个配置仅在 testing pipeline 上有所不同。 所以他们使用相同的检查点。

  • 数据根据 EDSR 进行正则化。

  • 在 RGB 通道上进行评估，在评估之前裁剪每个边界中的 scale 像素。


RDN (CVPR’2018)

RDN (CVPR'2018) 
@inproceedings{zhang2018residual,
  title={Residual dense network for image super-resolution},
  author={Zhang, Yulun and Tian, Yapeng and Kong, Yu and Zhong, Bineng and Fu, Yun},
  booktitle={Proceedings of the IEEE conference on computer vision and pattern recognition},
  pages={2472--2481},
  year={2018}
}

在 RGB 通道上进行评估，在评估之前裁剪每个边界中的 scale 像素。 我们使用 PSNR 和 SSIM 作为指标。

算法 Set5 Set14 DIV2K 下载
rdn_x2c64b16_g1_1000k_div2k 35.9883 / 0.9385 31.8366 / 0.8920 34.9392 / 0.9380 模型 | 日志
rdn_x3c64b16_g1_1000k_div2k 32.6051 / 0.8943 28.6338 / 0.8077 31.2153 / 0.8763 模型 | 日志
rdn_x4c64b16_g1_1000k_div2k 30.4922 / 0.8548 26.9570 / 0.7423 29.1925 / 0.8233 模型 | 日志


RealBasicVSR (arXiv’2021)

RealBasicVSR (arXiv'2021) 
@article{chan2021investigating,
  author = {Chan, Kelvin C.K. and Zhou, Shangchen and Xu, Xiangyu and Loy, Chen Change},
  title = {Investigating Tradeoffs in Real-World Video Super-Resolution},
  journal = {arXiv preprint arXiv:2111.12704},
  year = {2021}
}

在 Y 通道上评估。 计算 NRQM、NIQE 和 PI 的代码可以在这里找到。我们使用 MATLAB 官方代码计算 BRISQUE。

算法 NRQM (Y) NIQE (Y) PI (Y) BRISQUE (Y) Download
realbasicvsr_c64b20_1x30x8_lr5e-5_150k_reds 6.0477 3.7662 3.8593 29.030 model/log

训练

训练分为两个阶段：

  1. 使用 realbasicvsr_wogan_c64b20_2x30x8_lr1e-4_300k_reds.py 训练一个没有感知损失和对抗性损失的模型。

  2. 使用感知损失和对抗性损失 realbasicvsr_c64b20_1x30x8_lr5e-5_150k_reds.py 微调模型。

注:

  1. 您可能希望将图像裁剪为子图像以加快 IO。请参阅此处了解更多详情。


Real-ESRGAN (ICCVW’2021)

Real-ESRGAN (ICCVW'2021) 
@inproceedings{wang2021real,
  title={Real-ESRGAN: Training Real-World Blind Super-Resolution with Pure Synthetic data},
  author={Wang, Xintao and Xie, Liangbin and Dong, Chao and Shan, Ying},
  booktitle={Proceedings of the IEEE/CVF International Conference on Computer Vision Workshop (ICCVW)},
  pages={1905--1914},
  year={2021}
}

在 RGB 通道上进行评估，指标为 PSNR/SSIM。

算法 Set5 下载
realesrnet_c64b23g32_12x4_lr2e-4_1000k_df2k_ost 28.0297/0.8236 模型/日志


SRCNN (TPAMI’2015)

SRCNN (TPAMI'2015) 
@article{dong2015image,
  title={Image super-resolution using deep convolutional networks},
  author={Dong, Chao and Loy, Chen Change and He, Kaiming and Tang, Xiaoou},
  journal={IEEE transactions on pattern analysis and machine intelligence},
  volume={38},
  number={2},
  pages={295--307},
  year={2015},
  publisher={IEEE}
}

在 RGB 通道上进行评估，在评估之前裁剪每个边界中的 scale 像素。 我们使用 PSNR 和 SSIM 作为指标。

算法 Set5 Set14 DIV2K 下载
srcnn_x4k915_1x16_1000k_div2k 28.4316 / 0.8099 25.6486 / 0.7014 27.7460 / 0.7854 模型 | 日志


SRGAN (CVPR’2016)

SRGAN (CVPR'2016) 
@inproceedings{ledig2016photo,
  title={Photo-realistic single image super-resolution using a generative adversarial network},
  author={Ledig, Christian and Theis, Lucas and Husz{\'a}r, Ferenc and Caballero, Jose and Cunningham, Andrew and Acosta, Alejandro and Aitken, Andrew and Tejani, Alykhan and Totz, Johannes and Wang, Zehan},
  booktitle={Proceedings of the IEEE conference on computer vision and pattern recognition workshops},
  year={2016}
}

在 RGB 通道上进行评估，在评估之前裁剪每个边界中的 scale 像素。 我们使用 PSNR 和 SSIM 作为指标。

算法 Set5 Set14 DIV2K 下载
msrresnet_x4c64b16_1x16_300k_div2k 30.2252 / 0.8491 26.7762 / 0.7369 28.9748 / 0.8178 模型 | 日志
srgan_x4c64b16_1x16_1000k_div2k 27.9499 / 0.7846 24.7383 / 0.6491 26.5697 / 0.7365 模型 | 日志


TDAN (CVPR’2020)

TDAN (CVPR'2020) 
@InProceedings{tian2020tdan,
  title={TDAN: Temporally-Deformable Alignment Network for Video Super-Resolution},
  author={Tian, Yapeng and Zhang, Yulun and Fu, Yun and Xu, Chenliang},
  booktitle = {Proceedings of the IEEE conference on Computer Vision and Pattern Recognition},
  year = {2020}
}

在 RGB 通道上进行评估，在评估之前裁剪每个边界中的8像素。 我们使用 PSNR 和 SSIM 作为指标。

算法 Vid4 (BIx4) SPMCS-30 (BIx4) Vid4 (BDx4) SPMCS-30 (BDx4) 下载
tdan_vimeo90k_bix4_ft_lr5e-5_400k 26.49/0.792 30.42/0.856 25.93/0.772 29.69/0.842 模型 | 日志
tdan_vimeo90k_bdx4_ft_lr5e-5_800k 25.80/0.784 29.56/0.851 26.87/0.815 30.77/0.868 模型 | 日志

训练

训练说明

您可以使用以下命令来训练模型。

./tools/dist_train.sh ${CONFIG_FILE} ${GPU_NUM} [optional arguments]

TDAN 训练有两个阶段。

阶段 1: 以更大的学习率训练 (1e-4)

./tools/dist_train.sh configs/restorers/tdan/tdan_vimeo90k_bix4_lr1e-4_400k.py 8

阶段 2: 以较小的学习率进行微调 (5e-5)

./tools/dist_train.sh configs/restorers/tdan/tdan_vimeo90k_bix4_ft_lr5e-5_400k.py 8

更多细节可以参考 getting_started 中的 Train a model 部分。

测试

测试说明

您可以使用以下命令来测试模型。

python tools/test.py ${CONFIG_FILE} ${CHECKPOINT_FILE} [--out ${RESULT_FILE}] [--save-path ${IMAGE_SAVE_PATH}]

示例：使用 bicubic 下采样在 SPMCS-30 上测试 TDAN。

python tools/test.py configs/restorers/tdan/tdan_vimeo90k_bix4_ft_lr5e-5_400k.py  checkpoints/SOME_CHECKPOINT.pth --save_path outputs/

更多细节可以参考 getting_started 中的 Inference with pretrained models 部分。


TOFlow (IJCV’2019)

TOFlow (IJCV'2019) 
@article{xue2019video,
  title={Video enhancement with task-oriented flow},
  author={Xue, Tianfan and Chen, Baian and Wu, Jiajun and Wei, Donglai and Freeman, William T},
  journal={International Journal of Computer Vision},
  volume={127},
  number={8},
  pages={1106--1125},
  year={2019},
  publisher={Springer}
}

在 RGB 通道上进行评估。 我们使用 PSNR 和 SSIM 作为指标。

算法 Vid4 下载
tof_x4_vimeo90k_official 24.4377 / 0.7433 模型


TTSR (CVPR’2020)

TTSR (CVPR'2020) 
@inproceedings{yang2020learning,
  title={Learning texture transformer network for image super-resolution},
  author={Yang, Fuzhi and Yang, Huan and Fu, Jianlong and Lu, Hongtao and Guo, Baining},
  booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition},
  pages={5791--5800},
  year={2020}
}

在 RGB 通道上进行评估，在评估之前裁剪每个边界中的 scale 像素。 我们使用 PSNR 和 SSIM 作为指标。

算法 scale CUFED 下载
ttsr-rec_x4_c64b16_g1_200k_CUFED x4 25.2433 / 0.7491 模型 | 日志
ttsr-gan_x4_c64b16_g1_500k_CUFED x4 24.6075 / 0.7234 模型 | 日志


Read the Docs v: v0.13.0
Versions
latest
stable
v0.13.0
v0.12.0
Downloads
On Read the Docs
Project Home
Builds
Free document hosting provided by Read the Docs.