基于HBase的HLS-II数据存档与检索系统开发
TL503.6; HLS-II(Hefei Light Source-Ⅱ)是以真空紫外和软X射线为主的专用同步辐射光源,其历史数据的检索速度对于性能分析和故障诊断至关重要,因此设计并开发了基于HBase的数据存档与检索系统(HBase-base Data Archiving and Retrieving System,HDARS),以提高历史数据的检索速度.HDARS中设计了一个数据抽取算法在存档过程中以不同的时间粒度抽取原始数据中的特征数据.原始数据和特征数据分别存入到HBase的原始数据表和冗余数据表中,当查询长期的历史数据时,HDARS将根据查询数据的时间范围来计算合适的时间粒度,并从冗...
Saved in:
| Published in | 核技术 Vol. 43; no. 7; pp. 29 - 33 |
|---|---|
| Main Authors | , , , , |
| Format | Journal Article |
| Language | Chinese |
| Published |
中国科学技术大学 国家同步辐射实验室 合肥 230029
15.07.2020
|
| Subjects | |
| Online Access | Get full text |
| ISSN | 0253-3219 |
| DOI | 10.11889/j.0253-3219.2020.hjs.43.070202 |
Cover
| Abstract | TL503.6; HLS-II(Hefei Light Source-Ⅱ)是以真空紫外和软X射线为主的专用同步辐射光源,其历史数据的检索速度对于性能分析和故障诊断至关重要,因此设计并开发了基于HBase的数据存档与检索系统(HBase-base Data Archiving and Retrieving System,HDARS),以提高历史数据的检索速度.HDARS中设计了一个数据抽取算法在存档过程中以不同的时间粒度抽取原始数据中的特征数据.原始数据和特征数据分别存入到HBase的原始数据表和冗余数据表中,当查询长期的历史数据时,HDARS将根据查询数据的时间范围来计算合适的时间粒度,并从冗余数据表中检索、返回具有此粒度的特征数据.该系统自投入运行以来,性能稳定,可以在1s内响应任意时间范围的查询请求,完全满足了用户对HLS-Ⅱ历史数据查询需求.这种设计以较小的冗余存储空间为代价,完全解决了长期历史数据检索速度慢的问题. |
|---|---|
| AbstractList | TL503.6; HLS-II(Hefei Light Source-Ⅱ)是以真空紫外和软X射线为主的专用同步辐射光源,其历史数据的检索速度对于性能分析和故障诊断至关重要,因此设计并开发了基于HBase的数据存档与检索系统(HBase-base Data Archiving and Retrieving System,HDARS),以提高历史数据的检索速度.HDARS中设计了一个数据抽取算法在存档过程中以不同的时间粒度抽取原始数据中的特征数据.原始数据和特征数据分别存入到HBase的原始数据表和冗余数据表中,当查询长期的历史数据时,HDARS将根据查询数据的时间范围来计算合适的时间粒度,并从冗余数据表中检索、返回具有此粒度的特征数据.该系统自投入运行以来,性能稳定,可以在1s内响应任意时间范围的查询请求,完全满足了用户对HLS-Ⅱ历史数据查询需求.这种设计以较小的冗余存储空间为代价,完全解决了长期历史数据检索速度慢的问题. |
| Author | 李川 刘功发 宣科 辛尚聪 孙晓康 |
| AuthorAffiliation | 中国科学技术大学 国家同步辐射实验室 合肥 230029 |
| AuthorAffiliation_xml | – name: 中国科学技术大学 国家同步辐射实验室 合肥 230029 |
| Author_FL | LIU Gongfa XUAN Ke SUN Xiaokang XIN Shangcong LI Chuan |
| Author_FL_xml | – sequence: 1 fullname: XIN Shangcong – sequence: 2 fullname: SUN Xiaokang – sequence: 3 fullname: LI Chuan – sequence: 4 fullname: XUAN Ke – sequence: 5 fullname: LIU Gongfa |
| Author_xml | – sequence: 1 fullname: 辛尚聪 – sequence: 2 fullname: 孙晓康 – sequence: 3 fullname: 李川 – sequence: 4 fullname: 宣科 – sequence: 5 fullname: 刘功发 |
| BookMark | eNo9j71KA0EURqeIYBJ9C8Fqxzt_uzOlBnUXFixMHybrjLLIBBzENoWtEQtBbIKmVoSkkMTHye6-hiOKxeVy-eA793RQy42cQWiXACZESrVXYqCCRYwShSlQwBelx5xhSMJBW6j9H2-ijvclAFfARRuJarpcLyfpgfameb5N89Moy-rHj_ruvXp7ql9m689JPRs3i9dmvmpW0-prXN0_bKENqy-92f7bXdQ_Ouz30ig_Oc56-3nklRKR5swYyajS3BLDZaxkwMoYtDgrJBHhnaGFRHNQHIQqCi4Sm4hhYcPElrMu2vmtvdHOanc-KEfXVy4AB0HvRzPogWDfVfdXvg |
| ClassificationCodes | TL503.6 |
| ContentType | Journal Article |
| Copyright | Copyright © Wanfang Data Co. Ltd. All Rights Reserved. |
| Copyright_xml | – notice: Copyright © Wanfang Data Co. Ltd. All Rights Reserved. |
| DBID | 2B. 4A8 92I 93N PSX TCJ |
| DOI | 10.11889/j.0253-3219.2020.hjs.43.070202 |
| DatabaseName | Wanfang Data Journals - Hong Kong WANFANG Data Centre Wanfang Data Journals 万方数据期刊 - 香港版 China Online Journals (COJ) China Online Journals (COJ) |
| DatabaseTitleList | |
| DeliveryMethod | fulltext_linktorsrc |
| Discipline | Engineering |
| DocumentTitle_FL | Development of data archiving and retrieval system for HLS-Ⅱ based on HBase |
| EndPage | 33 |
| ExternalDocumentID | hjs202007005 |
| GrantInformation_xml | – fundername: 中国科学院合肥大科学中心重点研发项目 funderid: (2019HSC-KPRD003) |
| GroupedDBID | -03 2B. 4A8 5XA 5XD 92H 92I 93N ABJNI ACGFS ALMA_UNASSIGNED_HOLDINGS CCEZO CEKLB CW9 GROUPED_DOAJ PSX TCJ TGT U1G U5M |
| ID | FETCH-LOGICAL-s995-a43ee8329a4f1e48698049860a5dc815321bf07a4094059cc457f75bcf5bc6f43 |
| ISSN | 0253-3219 |
| IngestDate | Thu May 29 03:54:29 EDT 2025 |
| IsPeerReviewed | true |
| IsScholarly | true |
| Issue | 7 |
| Keywords | 冗余存储 数据抽取算法 数据存档 数据检索 HLS- HBase |
| Language | Chinese |
| LinkModel | OpenURL |
| MergedId | FETCHMERGED-LOGICAL-s995-a43ee8329a4f1e48698049860a5dc815321bf07a4094059cc457f75bcf5bc6f43 |
| PageCount | 5 |
| ParticipantIDs | wanfang_journals_hjs202007005 |
| PublicationCentury | 2000 |
| PublicationDate | 2020-07-15 |
| PublicationDateYYYYMMDD | 2020-07-15 |
| PublicationDate_xml | – month: 07 year: 2020 text: 2020-07-15 day: 15 |
| PublicationDecade | 2020 |
| PublicationTitle | 核技术 |
| PublicationTitle_FL | Nuclear Techniques |
| PublicationYear | 2020 |
| Publisher | 中国科学技术大学 国家同步辐射实验室 合肥 230029 |
| Publisher_xml | – name: 中国科学技术大学 国家同步辐射实验室 合肥 230029 |
| SSID | ssj0049045 ssib001129530 ssib051373102 ssib023167186 ssib001526398 |
| Score | 2.2389672 |
| Snippet | TL503.6; HLS-II(Hefei Light Source-Ⅱ)是以真空紫外和软X射线为主的专用同步辐射光源,其历史数据的检索速度对于性能分析和故障诊断至关重要,因此设计并开发了基于HBase的数据存档与检索系统(HBase-base Data Archiving and Retrieving... |
| SourceID | wanfang |
| SourceType | Aggregation Database |
| StartPage | 29 |
| Title | 基于HBase的HLS-II数据存档与检索系统开发 |
| URI | https://d.wanfangdata.com.cn/periodical/hjs202007005 |
| Volume | 43 |
| hasFullText | 1 |
| inHoldings | 1 |
| isFullTextHit | |
| isPrint | |
| link | http://utb.summon.serialssolutions.com/2.0.0/link/0/eLvHCXMwnR3LbhMxcFWKhOCAeIpXUQ9YHKoNjh9r-2gnG6UIuFCk3qrdzS5VD0Ei6aWnHrhSxAEJcamgZxASHFDL5zTJbzD2ejeLingdsnLGM-MZT-wZO_ZsENwBrwRznMhCTJMiZGmKw0RwFioickIKpkRu7w4_fBT1n7D763x94dRW49TS9jhtZTu_vFfyP1YFGNjV3pL9B8vWTAEAZbAvPMHC8PwrG6OYI9VDRqOY2aeM-wa8EooFUvCN9R88DldXURwhxZHBtiC7SMeWTneRkhai20hTx0ACAweh9vwDMDEMaeIKFBnjCsY2COSm43A4kj1UvgirCnEdB2y52ea0QwMBOkjXh4hRLJGJkTKOE7bCAkSCIHqOUoqoHLFCijpcjYyYo0BN18kMNaBy9yfi2KklkBaVgH5zA1ayNmUlr3-OXnlozvanQaZb03kxdHRSGVfFLFqFs9KgdwKYyEEwkh3XK4DEK92x110yj6xADwU94JBL-dlKRS9dBxGgX4HVHPbbN-UETjgNaeUSvLcpk1L5USWarkM1gpAyOchJ9yalcv6tZt2yvdba3Bq1GG3B9E0wmXv2-rwl1Fs8qLfpfk8TIcojDX77wYXOEPjx5j-snESN1JDEZkxoz1MN8jYV1KWeK6MeprB7IXgt2JngbiXxvd_L667LDYtk-LQR2a1dCM77JdmyLsfXxWBhZ_NScK6RqPNywCf7h8eHe250zd69KMfV9M3n6ctPk49vp-8Pjr_tTQ92Z18_zL4czY72J993J69eXwnWevFapx_6F46EI5uoIGE0z8HDqYQV7ZzJSEnQS0Y44YNMQmhA2mmBRWK3RGBVkmWMi0LwNCvgExWMXg0Wh8-G-bVg2cI5zQZKDhRLRKpEOwV3OiCpwCn0_vVgyeu84eeT0UbTSDf-UH8zODsfLreCxfHz7XwJouNxetuZ9Qd4AoIH |
| linkProvider | Directory of Open Access Journals |
| openUrl | ctx_ver=Z39.88-2004&ctx_enc=info%3Aofi%2Fenc%3AUTF-8&rfr_id=info%3Asid%2Fsummon.serialssolutions.com&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Ajournal&rft.genre=article&rft.atitle=%E5%9F%BA%E4%BA%8EHBase%E7%9A%84HLS-II%E6%95%B0%E6%8D%AE%E5%AD%98%E6%A1%A3%E4%B8%8E%E6%A3%80%E7%B4%A2%E7%B3%BB%E7%BB%9F%E5%BC%80%E5%8F%91&rft.jtitle=%E6%A0%B8%E6%8A%80%E6%9C%AF&rft.au=%E8%BE%9B%E5%B0%9A%E8%81%AA&rft.au=%E5%AD%99%E6%99%93%E5%BA%B7&rft.au=%E6%9D%8E%E5%B7%9D&rft.au=%E5%AE%A3%E7%A7%91&rft.date=2020-07-15&rft.pub=%E4%B8%AD%E5%9B%BD%E7%A7%91%E5%AD%A6%E6%8A%80%E6%9C%AF%E5%A4%A7%E5%AD%A6+%E5%9B%BD%E5%AE%B6%E5%90%8C%E6%AD%A5%E8%BE%90%E5%B0%84%E5%AE%9E%E9%AA%8C%E5%AE%A4+%E5%90%88%E8%82%A5+230029&rft.issn=0253-3219&rft.volume=43&rft.issue=7&rft.spage=29&rft.epage=33&rft_id=info:doi/10.11889%2Fj.0253-3219.2020.hjs.43.070202&rft.externalDocID=hjs202007005 |
| thumbnail_s | http://utb.summon.serialssolutions.com/2.0.0/image/custom?url=http%3A%2F%2Fwww.wanfangdata.com.cn%2Fimages%2FPeriodicalImages%2Fhjs%2Fhjs.jpg |