최근 고화질 이미지 및 비디오에 대한 수요가 증가함에 따라 저화질 이미지를 고화질로 복원하는 super resolution이 각광받고 있다. 일반적으로 super resolution모델을 학습하기 위해서는 저화질 이미지와 고화질 이미지 쌍을 필요로 한다. 하지만 동일한 이미지를 화질에 따라 다르게(저화질/고화질) 촬영한 데이터를 수집하는 것은 현실적으로 어렵다. 따라서 선행연구들은 bicubic downsampling을 통해 고화질 이미지를 강제로 저화질로 바꾸어 학습에 활용한다. 그러나 이는 real-world 저화질 이미지에 실제로 존재하는 다양한 노이즈들을 반영하지 못하기 때문에, super resolution 시 노이즈가 섞인 이미지로 복원된다는 한계를 갖는다. 최근에는 이러한 super resolution의 성능 저하를 bicubic downsampling을 통해 생성된 저화질 이미지의 품질을 원인으로 지적하며, 고화질 이미지로부터 저화질 이미지를 효과적으로 추정하고자 하는 blind super resolution에 대한 연구가 활발하게 진행되고 있다. 따라서 본 세미나에서는 super resolution의 데이터가 불완전한 상황에서 고화질 이미지만으로 real-world에 있을 법한 저화질 이미지를 추정함으로써, 학습 데이터 쌍을 구축하고 super resolution 성능을 향상시킨 blind super resolution 연구 사례들을 소개하고자 한다.
참고문헌:
[1] Liu, A., Liu, Y., Gu, J., Qiao, Y., & Dong, C. (2022). Blind Image Super-Resolution: A Survey and Beyond. IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 45(5), 5461-5480.
[2] Bulat, A., Yang, J., & Tzimiropoulos, G. (2018). To learn image super-resolution, use a GAN to learn how to do image degradation first. In Proceedings of the European Conference on Computer Vision (ECCV), 185-200.
[3] Bell-Kligler, S., Shocher, A., & Irani, M. (2019). Blind Super-Resolution Kernel Estimation using an Internal-GAN. Advances in Neural Information Processing Systems (NIPS), 32.
[4] Zhang, K., Liang, J., Van Gool, L., & Timofte, R. (2021). Designing a Practical Degradation Model for Deep Blind Image Super-Resolution. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 4791-4800.
[5] Wang, X., Xie, L., Dong, C., & Shan, Y. (2021). Real-esrgan: Training Real-World Blind Super-Resolution with Pure Synthetic Data. In Proceedings of the IEEE/CVF International Conference on Computer Vision Workshops (ICCVW), 1905-1914.
[6] Sahak, H., Watson, D., Saharia, C., & Fleet, D. (2023). Denoising Diffusion Probabilistic Models for Robust Image Super-Resolution in the Wild. arXiv preprint arXiv:2302.07864.
Негізгі бет [Open DMQA Seminar] Blind Super Resolution
Пікірлер