▲1985年的深圳南头半岛(下图,摄影:陈宗浩)与4倍超分修复(上图)后的对比图。受访单位供图
深圳晚报讯 (记者 杜婷 实习生 胡浩瑞) 图像复原领域长期面临一个难题:要么追求质量却耗时漫长,要么追求速度却牺牲细节。如何把一张老照片修复得又快又好?7月28日,中国科学院深圳先进技术研究院数字所董超研究员团队发布了一项名为HYPIR的图像复原大模型,仅需1.7秒即可完成一张1024x1024分辨率图像的复原,不仅比现有的图像复原技术快数十倍,更在高清分辨率、文字保真、理解能力、用户控制灵活性等方面展现出了优异性能,为图像复原技术的实际应用提供了更高效的解决方案,更为文化传承与保护、影视修复等领域带来新的可能性。
去年,董超团队提出了智能画质增强大模型SUPIR,将低质量的图像恢复到接近原始状态的高清图像,有效修复多种退化类型的图像。而此次图像大模型HYPIR作为升级版,舍弃了迭代式的扩散模型训练,改用单步的对抗生成模型训练方式,将原有的算法速度提升了数倍,同时采用更新的文生图基模型进一步提升算法效果,实现了8K级别的细节生成,在生成图像的稳定性和可控性方面远超SUPIR大模型。
实验数据显示,在单张显卡(图像处理器)上,HYPIR仅需1.7秒即可完成一张1024x1024分辨率图像的复原。相比现有的图像复原方法,研究人员提出的HYPIR在复原图像的质量上性能更优,且能够适用于各种尺寸的预训练扩散模型,为不同应用场景提供了灵活性。
在应用层面,研究人员介绍,HYPIR在图像高清分辨率、文字保真、理解能力、用户控制灵活性等方面均展现出了优异的性能。
例如,在老照片修复方面,研究人员运用HYPIR修复了国内外经典电影、电视剧老照片,让模糊的影像重现清晰的细节。在高分辨率图像修复领域,HYPIR同样表现出色,因其兼具速度与效果,HYPIR成功攻克了传统方法在生成8k分辨率图像时往往面临速度慢或效果不佳的难题。