贝叶斯推理与并行回火研究综述

• Published in: 计算机科学 Vol. 50; no. 2; pp. 89 - 105
• Main Authors: 湛进, 王雪飞, 成雨蓉, 袁野
• Format: Journal Article
• Language: Chinese
• Published: 北京理工大学计算机学院 北京100081 2023
• Subjects: 变分推理; 采样算法; 并行回火; 近似计算
• ISSN: 1002-137X
• DOI: 10.11896/jsjkx.220100001

TP181; 贝叶斯推理是统计学中的主要问题之一,旨在根据观测数据更新概率分布模型的先验知识.对于真实情况下常遇到的无法观测或难以直接计算的后验概率,贝叶斯推理可以对其进行近似,它是一种以贝叶斯定理为基础的重要方法.在许多机器学习问题中都涉及对包含各类特征数据的真实分布进行模拟和近似的过程,如分类模型、主题建模和数据挖掘等,因此贝叶斯推理在当今机器学习领域里具有重要而独特的研究价值.随着大数据时代的开始,研究者经由实际信息采集到海量的实验数据,导致需要模拟和计算的目标分布也非常复杂,如何在复杂数据下对目标分布进行结果精确和时间高效的近似推理,成为了当今贝叶斯推理问题的重难点.针对这一复杂分布模型下的推理问题,文中对近年来解决贝叶斯推理问题的两大主要方法——变分推理和采样方法,进行系统性地介绍和综述.首先,给出变分推理的问题定义与理论知识,详细介绍以坐标上升为基础的变分推理算法,并给出这一方法的已有应用与未来展望.然后,对国内外现有的采样方法的研究成果进行综述,给出各类主要采样方法的具体算法流程,并总结和对比这些方法的特性与优缺点.最后,引入并行回火技术,对其基本理论和方法进行概述,探讨并行回火与采样方法的结合与应用,为未来贝叶斯推理问题的发展探讨了新的研究方向.