科技日报记者 罗云鹏
图像复原领域长期面临一个难题:要么追求质量却耗时漫长,要么追求速度却牺牲细节。如何把一张老照片修复得又快又好?
7月28日,中国科学院深圳先进技术研究院数字所研究员董超团队发布HYPIR图像复原大模型,破解了这一难题。
实验数据显示,在单张显卡(图像处理器)上,HYPIR仅需1.7秒即可完成一张1024x1024分辨率图像的复原。
相比现有图像复原方法,研究团队提出的HYPIR在复原图像的质量上性能更优,且能够适用于各种尺寸的预训练扩散模型,为不同应用场景提供了灵活性。
在应用层面,HYPIR在图像高清分辨率、文字保真、理解能力、用户控制灵活性等方面均表现优异。
在高分辨率图像修复领域,HYPIR同样表现出色,因其兼具速度与效果,HYPIR成功攻克传统方法在生成8K分辨率图像时往往面临速度慢或效果不佳的难题。
在文字保真方面,传统基于扩散模型的方法常导致复原出的文字模糊或扭曲,缺乏精确性,而HYPIR则能够使复原出的文字保持高保真度和清晰度,无论是简单的标识还是复杂的文档,HYPIR都能精准地还原其原始形态,使图像中的文字清晰可读。
值得一提的是,HYPIR还具备自然语言理解能力,能够捕捉和理解用户的输入指令,在图像复原过程中准确地反映用户的意图。
此外,用户可以根据需求灵活调节生成与复原的平衡,或精细控制图像细节程度,从而获得符合自身偏好的结果。
“HYPIR大模型开源代码和模型已上传至GitHub,并部署于明犀科技平台中。”董超介绍,目前他们已与深圳市南山区档案馆合作,对部分馆藏照片进行修复。
(研究团队供图)