国内外大语言模型生成中文论文摘要对比研究——以图书情报领域为例 - 邢淼; 田丽 (知识管理论坛, 2024)
[目的/意义]通过对国内外典型的大语言模型所生成的中文论文摘要进行对比分析，总结归纳两者间的异同点，为大语言模型后续的深度开发和发展研究提供参考。[方法/过程]选取2023年国家社会科学基金年度项目中“图书馆、情报与文献学”学科的121个课题作为题目，通过ChatGPT4.0与文心大模型4.0分别生成中文摘要，经过数据预处理及文本分析，从高频词特征、词性分布、句子数量以及摘要内容长度等角度探讨国内外大语言模型生成内容的异同。然后，与中文期刊《图书情报工作》中的摘要写作做对比，判断大语言模型生成摘要是否贴合中文论文写作规范。[结果/结论]文心一言生成摘要篇幅较短，字数较少，更贴合中文论文写作标准，GPT生成摘要的平均字数及句子数量较多，通过对比两个典型大语言模型生成内容的差距及特点，为大语言模型的完善与进一步深度开发提供一定的参考。