自然语言处理领域中的词嵌入方法综述

• Published in: 计算机科学与探索 Vol. 18; no. 1; pp. 24 - 43
• Main Authors: 曾骏, 王子威, 于扬, 文俊浩, 高旻
• Format: Journal Article
• Language: Chinese
• Published: 重庆大学 大数据与软件学院,重庆 401331 2024; 信息物理社会可信服务计算教育部重点实验室(重庆大学),重庆 400044%重庆大学 大数据与软件学院,重庆 401331
• Subjects: 词向量评估; 词嵌入方法; 语言模型; natural language processing; word embedding; 自然语言处理; language model; word vector evaluation; 词向量; 分词; tokenization; word vector
• ISSN: 1673-9418
• DOI: 10.3778/j.issn.1673-9418.2303056

TP18; 词嵌入作为自然语言处理任务的第一步,其目的是将输入的自然语言文本转换为模型可以处理的数值向量,即词向量,也称词的分布式表示.词向量作为自然语言处理任务的根基,是完成一切自然语言处理任务的前提.然而,国内外针对词嵌入方法的综述文献大多只关注于不同词嵌入方法本身的技术路线,而未能将词嵌入的前置分词方法以及词嵌入方法完整的演变趋势进行分析与概述.以word2vec模型和Transformer模型作为划分点,从生成的词向量是否能够动态地改变其内隐的语义信息来适配输入句子的整体语义这一角度,将词嵌入方法划分为静态词嵌入方法和动态词嵌入方法,并对此展开讨论.同时,针对词嵌入中的分词方法,包括整词切分和子词切分,进行了对比和分析;针对训练词向量所使用的语言模型,从概率语言模型到神经概率语言模型再到如今的深度上下文语言模型的演化,进行了详细列举和阐述;针对预训练语言模型时使用的训练策略进行了总结和探讨.最后,总结词向量质量的评估方法,分析词嵌入方法的当前现状并对其未来发展方向进行展望.