基于突触巩固机制的前馈小世界神经网络设计

小世界神经网络具有较快的收敛速度和优越的容错性,近年来得到广泛关注.然而,在网络构造过程中,随机重连可能造成重要信息丢失,进而导致网络精度下降.针对该问题,基于Watts-Strogatz(WS)型小世界神经网络,提出了一种基于突触巩固机制的前馈小世界神经网络(Feedforward small-world neural network based on synaptic consolidation,FSWNN-SC).首先,使用网络正则化方法对规则前馈神经网络进行预训练,基于突触巩固机制,断开网络不重要的权值连接,保留重要的连接权值;其次,设计重连规则构造小世界神经网络,在保证网络小世界属性...

Full description

Saved in:
Bibliographic Details
Published in自动化学报 Vol. 49; no. 10; pp. 2145 - 2158
Main Authors 李文静, 李治港, 乔俊飞
Format Journal Article
LanguageChinese
Published 智能感知与自主控制教育部工程研究中心 北京 100124 2023
智慧环保北京实验室 北京 100124
北京人工智能研究院 北京 100124
计算智能与智能系统北京市重点实验室 北京 100124
北京工业大学信息学部 北京 100124
Subjects
重连规则
网络正则化
小世界神经网络
synaptic consolidation mechanism
Wilcoxon signed-ranks test
network regularization
rewiring rule
突触巩固机制
Wilcoxon符号秩检验
Small-world neural networks
Online AccessGet full text

Cover

More Information
Summary:小世界神经网络具有较快的收敛速度和优越的容错性,近年来得到广泛关注.然而,在网络构造过程中,随机重连可能造成重要信息丢失,进而导致网络精度下降.针对该问题,基于Watts-Strogatz(WS)型小世界神经网络,提出了一种基于突触巩固机制的前馈小世界神经网络(Feedforward small-world neural network based on synaptic consolidation,FSWNN-SC).首先,使用网络正则化方法对规则前馈神经网络进行预训练,基于突触巩固机制,断开网络不重要的权值连接,保留重要的连接权值;其次,设计重连规则构造小世界神经网络,在保证网络小世界属性的同时实现网络稀疏化,并使用梯度下降算法训练网络;最后,通过4个UCI基准数据集和2个真实数据集进行模型性能测试,并使用Wilcoxon符号秩检验对对比模型进行显著性差异检验.实验结果表明:所提出的FSWNN-SC模型在获得紧凑的网络结构的同时,其精度显著优于规则前馈神经网络及其他WS型小世界神经网络.
ISSN:0254-4156
DOI:10.16383/j.aas.c220638