基于HBase的HLS-II数据存档与检索系统开发

TL503.6; HLS-II(Hefei Light Source-Ⅱ)是以真空紫外和软X射线为主的专用同步辐射光源,其历史数据的检索速度对于性能分析和故障诊断至关重要,因此设计并开发了基于HBase的数据存档与检索系统(HBase-base Data Archiving and Retrieving System,HDARS),以提高历史数据的检索速度.HDARS中设计了一个数据抽取算法在存档过程中以不同的时间粒度抽取原始数据中的特征数据.原始数据和特征数据分别存入到HBase的原始数据表和冗余数据表中,当查询长期的历史数据时,HDARS将根据查询数据的时间范围来计算合适的时间粒度,并从冗...

Full description

Saved in:
Bibliographic Details
Published in核技术 Vol. 43; no. 7; pp. 29 - 33
Main Authors 辛尚聪, 孙晓康, 李川, 宣科, 刘功发
Format Journal Article
LanguageChinese
Published 中国科学技术大学 国家同步辐射实验室 合肥 230029 15.07.2020
Subjects
冗余存储
数据抽取算法
数据存档
数据检索
HLS-
HBase
Online AccessGet full text
ISSN0253-3219
DOI10.11889/j.0253-3219.2020.hjs.43.070202

Cover

More Information
Summary:TL503.6; HLS-II(Hefei Light Source-Ⅱ)是以真空紫外和软X射线为主的专用同步辐射光源,其历史数据的检索速度对于性能分析和故障诊断至关重要,因此设计并开发了基于HBase的数据存档与检索系统(HBase-base Data Archiving and Retrieving System,HDARS),以提高历史数据的检索速度.HDARS中设计了一个数据抽取算法在存档过程中以不同的时间粒度抽取原始数据中的特征数据.原始数据和特征数据分别存入到HBase的原始数据表和冗余数据表中,当查询长期的历史数据时,HDARS将根据查询数据的时间范围来计算合适的时间粒度,并从冗余数据表中检索、返回具有此粒度的特征数据.该系统自投入运行以来,性能稳定,可以在1s内响应任意时间范围的查询请求,完全满足了用户对HLS-Ⅱ历史数据查询需求.这种设计以较小的冗余存储空间为代价,完全解决了长期历史数据检索速度慢的问题.
ISSN:0253-3219
DOI:10.11889/j.0253-3219.2020.hjs.43.070202