基于洗牌算法的大数据抽样有效性分析

TP312; 基于折叠技术的洗牌算法具有较好的数据置乱效果,可以满足大数据抽样的前提条件.为证明置乱后的数据集在经过抽样后内部规则不被破坏,通过数据挖掘的方法对抽样前后的数据进行关联规则分析.对比所得关联规则的支持度、置信度,以及事务出现的频率,发现经过折叠洗牌算法置乱后的数据在抽样前后所得到的关联规则变化相对稳定,并通过与现有算法的时间效率以及抽样总体误差作对比,进一步在理论上得出大数据抽样具有有效性,即可以通过抽样样本来推测数据整体情况....

Full description

Saved in:
Bibliographic Details
Published in计算机应用研究 Vol. 38; no. 10; pp. 3049 - 3054
Main Authors 刘涵阅, 张春生
Format Journal Article
LanguageChinese
Published 内蒙古民族大学 计算机科学与技术学院,内蒙古 通辽028043 2021
Subjects
大数据;抽样技术;折叠洗牌算法;关联规则;抽样有效性
Online AccessGet full text

Cover

More Information
Summary:TP312; 基于折叠技术的洗牌算法具有较好的数据置乱效果,可以满足大数据抽样的前提条件.为证明置乱后的数据集在经过抽样后内部规则不被破坏,通过数据挖掘的方法对抽样前后的数据进行关联规则分析.对比所得关联规则的支持度、置信度,以及事务出现的频率,发现经过折叠洗牌算法置乱后的数据在抽样前后所得到的关联规则变化相对稳定,并通过与现有算法的时间效率以及抽样总体误差作对比,进一步在理论上得出大数据抽样具有有效性,即可以通过抽样样本来推测数据整体情况.
ISSN:1001-3695
DOI:10.19734/j.issn.1001-3695.2021.02.0055