Prefix-LSDPM:面向小样本的在线学习会话退出预测模型

TP391.4; 在线学习会话退出预测旨在准确预测在线学习过程中的学习会话退出,是智慧教育领域中十分重要的一项研究任务.针对现有模型在小样本场景下预测准确率较低的问题,提出了基于前缀提示的在线学习会话退出预测模型Prefix-LSDPM.该模型为获取单个学习行为内部特征及连续学习行为之间的隐含关联信息,在改进了键值向量的Transformer网络中对提示形式的合成序列进行掩码学习;为降低模型训练涉及的参数量以适应小样本学习,将学习会话退出预测任务建模形式靠近预训练任务,并在冻结的预训练参数基础上对提示参数进行调优.基于多个数据集的实验结果表明,Prefix-LSDPM的预测准确率优于现有模型,...

Full description

Saved in:
Bibliographic Details
Published in华东理工大学学报（自然科学版） Vol. 49; no. 5; pp. 754 - 763
Main Authors 陈芮, 李飞, 王占全
Format Journal Article
LanguageChinese
Published 华东理工大学信息科学与工程学院,上海 200237 01.10.2023
Subjects
学习会话
提示学习
pre-training
预训练
prompt learning
dropout prediction
learning session
小样本学习
退出预测
few-shot learning
Online AccessGet full text

Cover

More Information
Summary:TP391.4; 在线学习会话退出预测旨在准确预测在线学习过程中的学习会话退出,是智慧教育领域中十分重要的一项研究任务.针对现有模型在小样本场景下预测准确率较低的问题,提出了基于前缀提示的在线学习会话退出预测模型Prefix-LSDPM.该模型为获取单个学习行为内部特征及连续学习行为之间的隐含关联信息,在改进了键值向量的Transformer网络中对提示形式的合成序列进行掩码学习;为降低模型训练涉及的参数量以适应小样本学习,将学习会话退出预测任务建模形式靠近预训练任务,并在冻结的预训练参数基础上对提示参数进行调优.基于多个数据集的实验结果表明,Prefix-LSDPM的预测准确率优于现有模型,且在小样本学习中仍能达到较好的预测效果.
ISSN:1006-3080
DOI:10.14135/j.cnki.1006-3080.20230206003