外部信息引导和残差置乱的场景图生成方法

TP391; 场景图因其具有的表示视觉场景内容的语义和组织结构的特点,有助于视觉理解和可解释推理,成为计算机视觉研究热点之一.但由于现存的视觉场景中目标和目标之间关系标注的不平衡,导致现有的场景图生成方法受到数据集偏置影响.对场景图数据失衡问题进行研究,提出一种基于外部信息引导和残差置乱相结合的场景图生成方法(EGRES),缓解数据集偏置对场景图生成的负面影响.该方法利用外部知识库中无偏置的常识性知识规范场景图的语义空间,缓解数据集中关系数据分布不平衡的问题,以提高场景图生成的泛化能力;利用残差置乱方式对视觉特征和提取的常识性知识进行融合,规范场景图生成网络.在VG数据集上的对比实验和消融实验...

Full description

Saved in:
Bibliographic Details
Published in计算机科学与探索 Vol. 15; no. 10; pp. 1958 - 1968
Main Authors 田鑫, 季怡, 高海燕, 林欣, 刘纯平
Format Journal Article
LanguageChinese
Published 符号计算与知识工程教育部重点实验室(吉林大学),长春 130012 01.10.2021
苏州大学 计算机科学与技术学院,江苏 苏州 215006%苏州大学 计算机科学与技术学院,江苏 苏州 215006
Subjects
数据集偏置;残差置乱;外部知识库;场景图生成
Online AccessGet full text
ISSN1673-9418
DOI10.3778/j.issn.1673-9418.2007007

Cover

More Information
Summary:TP391; 场景图因其具有的表示视觉场景内容的语义和组织结构的特点,有助于视觉理解和可解释推理,成为计算机视觉研究热点之一.但由于现存的视觉场景中目标和目标之间关系标注的不平衡,导致现有的场景图生成方法受到数据集偏置影响.对场景图数据失衡问题进行研究,提出一种基于外部信息引导和残差置乱相结合的场景图生成方法(EGRES),缓解数据集偏置对场景图生成的负面影响.该方法利用外部知识库中无偏置的常识性知识规范场景图的语义空间,缓解数据集中关系数据分布不平衡的问题,以提高场景图生成的泛化能力;利用残差置乱方式对视觉特征和提取的常识性知识进行融合,规范场景图生成网络.在VG数据集上的对比实验和消融实验证明,提出的方法可以有效改善场景图生成.对于数据集中不同标签的对比实验证明,提出的方法可以改善绝大多数关系类别的生成性能,尤其是中低频关系类别下的场景图生成性能,极大地改善了数据标注失衡的问题,比现有的场景图生成方法具有更好的生成效果.
ISSN:1673-9418
DOI:10.3778/j.issn.1673-9418.2007007