基于生成对抗网络的时尚内容和风格迁移

• Published in: 计算机工程与应用 Vol. 60; no. 9; pp. 261 - 271
• Main Authors: 丁文华, 杜军威, 侯磊, 刘金环
• Format: Journal Article
• Language: Chinese
• Published: 青岛科技大学 信息科学技术学院 山东 青岛 266061 01.05.2024
• Subjects: generative adversarial network; 生成对抗网络; 特征融合; feature fusion; content and style transfer; layer consistence dynamic convolution; 内容和风格迁移; 多域转换; multi-domain feature transfer; 层一致性动态卷积
• ISSN: 1002-8331
• DOI: 10.3778/j.issn.1002-8331.2212-0265

TP391; 生成对抗网络常常被用于图像着色、语义合成、风格迁移等图像转换任务,但现阶段图像生成模型的训练往往依赖于大量配对的数据集,且只能实现两个图像域之间的转换.针对以上问题,提出了一种基于生成对抗网络的时尚内容和风格迁移模型(content and style transfer based on generative adversarial network,CS-GAN).该模型利用对比学习框架最大化时尚单品与生成图像之间的互信息,可保证在时尚单品结构不变的前提下实现内容迁移;通过层一致性动态卷积方法,针对不同风格图像自适应地学习风格特征,实现时尚单品任意风格迁移,对输入的时尚单品进行内容特征(如颜色、纹理)和风格特征(如莫奈风、立体派)的融合,实现多个图像域的转换.在公开的时尚数据集上进行对比实验和结果分析,该方法与其他主流方法相比,在图像合成质量、Inception score和FID距离评价指标上均有所提升.