民族壁画破损区域和划痕检测


要对民族壁画图像进行修复,首先要知道图像中哪些区域需要修复,即要能准确定位壁画图像的破损区域,但民族壁画破损的原因复杂,导致许多破损区域分布分散,破损区域与非破损区域间的边界模糊,給准确定位破损区域带来了困难,因此项目组以少量带破损标注的民族壁画图像为学习对象,利用深度学习模型从这些参考样本中学会预测民族壁画图像中哪些区域存在破损和划痕,进而为后续的修复模型缩小了待修复的范围。具体完成了:


图片1

预测壁画图像破损区域的模型1

提出了一个层次化的多尺度民族壁画破损预测模型DACMixer,通过挖掘融合壁画图像中的局部区域信息和全局图像信息,使其能以较高的精度预测壁画图像中什么位置存在破损。

图片2

高分辨率图像修复方法INRInpainter的修复效果

提出了带有前向反馈特征融合模块和密集跳接的双重U-Net(Dual Dense U-Net),强化不同尺度特征信息间的融合,减缓所预测的破损目标不够明确的问题。

图片3

预测图像划痕的模型

提出了基于卷积字典学习与扩散先验的划痕修复方法,其原理是将壁画中的划痕分解为更简单的组成要素,理解图像划痕的退化方式,可用于指导图像生成模型在壁画图像的划痕处生成和周围没有破损的区域在视觉上一致的内容。

图片4

破损区域预测结果

该图展示了使用项目组提出的DACMixer模型预测壁画破损区域的结果,右侧中白色部分为壁画图像中存在破损的区域,可以看到即使破损区域很分散,DACMixer模型也能很好地预测这些破损区域