多尺度特征和注意力融合的生成对抗壁画修复.pdfVIP

2023

年

2

月北

京

航

空

航

天

大

学

学

报

February2023

第

49

卷

第

2

期Journal

of

Beijing

University

of

Aeronautics

and

AstronauticsVol.

49No.

2

jbuaa@

DOI:

10.13700/j.bh.1001-5965.2021.0242

多尺度特征和注意力融合的生成对抗壁画修复

1，2，*11

陈永，陈锦，陶美风

(1.

兰州交通大学

电子与信息工程学院，兰州

730070；

2.

甘肃省人工智能与图形图像处理工程研究中心，兰州

730070)

摘要：针对现有深度学习图像修复算法修复壁画时，存在特征提取不足及细节重构丢失

等问题，提出了一种多尺度特征和注意力融合的生成对抗壁画修复深度学习模型。设计多尺度特征

金字塔网络提取壁画中不同尺度的特征信息，增强特征关联性；采用自注意力机制及特征融合模块

构建多尺度特征生成器，以获取丰富的上下文信息，提升网络的修复能力；引入最小化对抗损失与

均方误差促进判别器的残差反馈，从而结合不同尺度的特征信息完成壁画修复。通过对真实敦煌壁

画数字化修复的实验结果表明，所提算法能够有效保护壁画图像的边缘和纹理等重要特征信息，并

且主观视觉效果及客观评价指标均优于比较算法。

关键词：图像重构；壁画修复；生成对抗网络；多尺度特征融合；自注意力机制

中图分类号：TN911.73

文献标志码：A文章编号：1001-5965（2023）02-0254-11

敦煌莫高窟是世界上现存规模最宏大、内容最essive

total

variation)的模型来描述图像的稀疏性和

[7]

丰富的佛教石窟壁画宝库，其内所存的壁画、经卷低秩先验知识，以实现对图像的重构。Fan在Crim-

等具有珍贵的研究价值。然而，由于自然风化的破inisi算法的基础上引入邻域和结构信息对优先权

坏及人为因素的影响，窟内壁画出现了地仗脱落、和匹配策略进行改进，避免了错误匹配的问题。陈

[8]

划痕、褪色、裂纹等严重的灾害，亟待保护。因此，永等提出了一种改进曲率驱动扩散的敦煌壁画

研究病害敦煌壁画的修复极其重要。但是，人工修修复算法，提高了对壁画裂纹的修复效果。Yang等[9]

复存在风险大、不可逆等问题，将数字化虚拟修复在偏微分方程修复算法的基础上通过对结构张量

[1]进行改进，提高了对小