古农文语义检索模型构建及其应用研究

• Published in: 农业图书情报学报 Vol. 35; no. 7; pp. 52 - 62
• Main Authors: 刘楠竹, 崔运鹏, 王末
• Format: Journal Article
• Language: Chinese
• Published: 中国农业科学院农业信息研究所 05.07.2023; 农业农村部农业大数据重点实验室,北京 100081; 中国农业科学院农业信息研究所,北京 100081
• Subjects: 语义检索; 古农文; 对比学习; 模型构建; 深度学习; deep learning; ancient agricultural script; comparative learning; model building; semantic retrieval
• ISSN: 1002-1248
• DOI: 10.13998/j.cnki.issn1002-1248.23-0355

[目的/意义]构建能实现以白话文作为查询，系统自动返回与输入最相关的古农文段落的语义检索模型，为学者提供更加便利的古代农业知识检索方式和古代农业知识溯源方式。[方法/过程]使用基于四库全书作为训练语料的Siku BERT作为基础模型，基于对比学习的方法，使用自建的古农文数据集对模型进行继续训练，得到能够支持使用白话文作为查询，返回与查询语义最相似的古农文段落的语义检索模型。[结果/结论]古农文语义检索模型的Spearman系数在测试集上的表现能够达到86.51%，较基线模型在测试集上的表现83.69%有一定程度的提升，在自建的古农文检索测试集上的召回情况（recall@k）较基线模型有一定程度提升，模型在古农文上能够有比较好的检索效果。但受限于古农文训练语料规模，模型的训练效果还有很大提升空间。