基于全流程并行遗传算法的贝叶斯网络结构学习

• Published in: 系统工程与电子技术 Vol. 46; no. 5; pp. 1703 - 1711
• Main Authors: 蔡一鸣, 马力, 陆恒杨, 方伟
• Format: Journal Article
• Language: Chinese
• Published: 江南大学人工智能与计算机学院,江苏无锡 214122 01.05.2024
• Subjects: Bayesian network(BN); genetic algorithm(GA); 遗传算法; 贝叶斯网络; parallel structure learning; 并行结构学习; Spark; 结构学习; structure learning

TP181; 为解决海量数据情况下学习贝叶斯网络(Bayesian network,BN)结构的算法性能急剧降低问题,基于Spark框架设计了一种全流程并行遗传算法用于BN结构学习(简称为SparkGA-BN).SparkGA-BN包含互信息计算并行化、遗传算子并行化和适应度评分并行化3个部分.互信息并行计算可以高效减少搜索空间;在演化前增加对种群信息与选择信息的广播来对全种群执行选择操作.选择与交叉算子共用选择信息以并行执行,从而高效演化并减少数据落盘时间.对约束和评分两阶段产生的中间数据作记忆化存储,提升数据复用率和全局执行效率.实验结果表明,所提算法在执行效率和学习准确率方面均优于对比算...