民族壁画虚拟修复模型
针对民族壁画数据样本少,不同民族绘画风格差异大,壁画破损严重的问题,结合前述的四项研究内容,项目组提出了多种壁画修复模型,实现了对民族壁画图像的高质量修复。在此修复图像的基础上,进一步研究了民族壁画的合成方法,扩展了民族壁画虚拟修复结果的应用。其中虚拟修复模型包括:

多尺度并行图像修复网路MCRFnet
基于多分辨率特征并行协作的图像修复方法MCRFNet,通过对生成模型中的编码器和解码器的多项改进,使MCRFNet能通过少量壁画数据的微调,迁移到壁画(或壁画临摹稿)的图像修复问题中,显示了模型良好的泛化性。

高分辨率图像修复方法INRInpainter的修复效果
基于连续隐式表示的高分辨率图像修复方法INRInpainter,即使壁画图像中存在较多的小面积破损,INRInpainter也能很好地完成修复。

基于合成数据的壁画图像修复方法GateFormer
GateFormer中融合了多个门控卷积和改进的transformer模块,目标是在特征学习和计算效率之间取得平衡。

GateFormer的修复效果
通过对合成壁画数据的使用,GateFormer不仅能更好地修复壁画图像中的纹理细节,还具有良好的颜色准确性。

两阶段图像修复方法StrPaint
通过先修复结构,后补充纹理的修复策略,有效提升了修复结果的结构一致性和细节真实性,减少了破损区域内部模糊或结构不协调的问题。

壁画人脸图像生成结果
基于Lora和StyleGAN的壁画人脸图像合成方法,从GAN模型和概率扩散模型两方面探索了如何更好地生成壁画人脸图像。