基于近端凸差分方法的多层卷积变换学习算法

卷积变换学习(CTL)结合了无监督学习与卷积神经网络的优点,通过无监督的方式训练卷积核,是一种新兴的稀疏表示方法.现有的单层CTL模型仅通过一层稀疏编码,不仅难以有效提取输入信号的深层语义信息,并且,基于l0范数的CTL模型得到的稀疏解虽然稀疏度强,但它的求解是一个NP-hard难题,而基于l1范数的CTL模型则存在稀疏度不足和参数过度惩罚的问题.针对以上问题,本文提出了一种基于log正则化函数的多层CTL模型(CTL-log):为了提取输入信号更具鉴别性与丰富语义的稀疏特征,对单层的CTL模型进行多层拓展,同时使用稀疏度强,偏差性小的非凸log正则化函数作为CTL模型的稀疏约束方法.通过使用...

Full description

Saved in:
Bibliographic Details
Published in控制理论与应用 Vol. 40; no. 11; pp. 2019 - 2027
Main Authors 郭泳澄, 唐健浩, 李珍妮, 吕俊
Format Journal Article
LanguageChinese
Published 广东工业大学自动化学院,广东广州 510006 01.11.2023
广东省物联网信息技术重点实验室,广东广州 510006%广东工业大学自动化学院,广东广州 510006
Subjects
卷积变换学习
特征提取
机器学习
近端凸差分方法
feature extraction
proximal difference of convex algorithm
log reg-ularizer
machine learning
convolutional transform learning
稀疏表示
log正则化
sparse representation
Online AccessGet full text
ISSN1000-8152
DOI10.7641/CTA.2022.11020

Cover

More Information
Summary:卷积变换学习(CTL)结合了无监督学习与卷积神经网络的优点,通过无监督的方式训练卷积核,是一种新兴的稀疏表示方法.现有的单层CTL模型仅通过一层稀疏编码,不仅难以有效提取输入信号的深层语义信息,并且,基于l0范数的CTL模型得到的稀疏解虽然稀疏度强,但它的求解是一个NP-hard难题,而基于l1范数的CTL模型则存在稀疏度不足和参数过度惩罚的问题.针对以上问题,本文提出了一种基于log正则化函数的多层CTL模型(CTL-log):为了提取输入信号更具鉴别性与丰富语义的稀疏特征,对单层的CTL模型进行多层拓展,同时使用稀疏度强,偏差性小的非凸log正则化函数作为CTL模型的稀疏约束方法.通过使用近端凸差分方法对模型的非凸优化问题进行优化求解,开发出基于近端凸差分方法的多层卷积变换学习算法.实验表明,本文提出的基于近端凸差分方法的多层卷积变换学习算法所使用的log正则化稀疏约束效果优于现有的CTL模型,且多层CTL-log的特征提取效果相较于单层取得了提升,在支持向量机(SVM)分类器的分类精度提升了 2个百分点左右.
ISSN:1000-8152
DOI:10.7641/CTA.2022.11020