基于强化样本的伪孪生网络图像篡改定位模型

• Published in: 网络与信息安全学报 Vol. 10; no. 1; pp. 33 - 47
• Main Authors: 王金伟, 张子荷, 罗向阳, 马宾
• Format: Journal Article
• Language: Chinese
• Published: 南京信息工程大学数字取证教育部工程研究中心,江苏南京 210044 25.02.2024; 南京信息工程大学计算机学院,江苏南京 210044; 南京信息工程大学网络空间安全学院,江苏南京 210044; 数字工程与先进计算国家重点实验室,河南郑州 450001%南京信息工程大学数字取证教育部工程研究中心,江苏南京 210044; 信息工程大学,河南郑州 450001%齐鲁工业大学网络空间安全学院,山东济南 250353; 南京信息工程大学网络空间安全学院,江苏南京 210044%数字工程与先进计算国家重点实验室,河南郑州 450001
• Subjects: tampering image; tampering positioning; enhanced sample; data augmentation; 数据增强; 篡改定位; 伪孪生网络; pseudo-siamese network; 强化样本; 篡改图像
• ISSN: 2096-109X
• DOI: 10.11959/j.issn.2096-109x.2024010

TP391; 随着互联网不断发展,网络上的篡改图像越来越多,掩盖篡改痕迹的手段越来越丰富.而现在大多数检测模型没有考虑到图像后处理操作对篡改检测算法的影响,限制了其在实际生活中的应用.为了解决上述问题,提出了一种通用的基于强化样本的伪孪生网络图像篡改定位模型.所提模型利用伪孪生网络,一方面学习真实图像中的篡改特征;另一方面通过约束卷积,抑制图像内容,从而能够更加关注篡改残留的痕迹信息.网络的两分支结构可以达到充分利用图像特征信息的目的.模型利用强化样本,可以自适应地生成当前最需要学习的篡改类型图片,实现对模型有针对性地训练,使得模型在各个方向上学习收敛,最终得到全局最优模型.利用数据增强思路,自动生成丰富的篡改图像以及其对应的掩膜,这很好地解决了篡改数据集有限的问题.在4个数据集上的大量实验证明了所提模型在像素级操作检测方面的可行性和有效性.尤其是在Columbia数据集上,算法的F1值提高了 33.5％,Matthews correlation coefficirnt(MCC)得分提高了 23.3％,说明所提模型利用深度学习模型的优点,显著提高了篡改定位的检测效果.