基于NoSQL的FITS文件头元数据存储和查询研究

随着大型天文望远镜的投入使用,观测台站正面临PB量级的海量数据存储、快速检索难题;同时由于在数据检索中起着关键作用的FITS文件头的可变性,导致难以使用传统的关系型数据库来建立可适应这种变化需求的非结构化数据模型。针对这个难题,提出了使用NoSQL对天文上广泛使用的FITS文件头中所包含的可变元数据信息进行存储和查询;讨论了关系型数据模型存储可变FITS文件头的不足;分析了NoSQL存储可变FITS头元数据信息的可行性;使用形式化的关系型代数对这种存储查询方式进行了一般化的讨论。通过具体查询实例验证了该方案在存储天文可变FITS文件头的有效性和可行性。...

Full description

Saved in:
Bibliographic Details
Published in计算机应用研究 Vol. 32; no. 2; pp. 461 - 465
Main Author 刘应波 王锋 季凯帆 邓辉 戴伟 梁波
Format Journal Article
LanguageChinese
Published 中国科学院云南天文台，昆明650011 2015
昆明理工大学 云南省计算机技术应用重点实验室，昆明650500%昆明理工大学 云南省计算机技术应用重点实验室,昆明,650500
中国科学院大学，北京100049
Subjects
元数据
天文数据存储
海量数据查询
非关系型数据库
astronomical data storage
metadata
海量数据查询
NoSQL
massive data query
天文数据存储
元数据
非关系型数据库
Online AccessGet full text

Cover

More Information
Summary:随着大型天文望远镜的投入使用,观测台站正面临PB量级的海量数据存储、快速检索难题;同时由于在数据检索中起着关键作用的FITS文件头的可变性,导致难以使用传统的关系型数据库来建立可适应这种变化需求的非结构化数据模型。针对这个难题,提出了使用NoSQL对天文上广泛使用的FITS文件头中所包含的可变元数据信息进行存储和查询;讨论了关系型数据模型存储可变FITS文件头的不足;分析了NoSQL存储可变FITS头元数据信息的可行性;使用形式化的关系型代数对这种存储查询方式进行了一般化的讨论。通过具体查询实例验证了该方案在存储天文可变FITS文件头的有效性和可行性。
Bibliography:astronomical data storage; metadata; massive data query; NoSQL
51-1196/TP
LIU Ying-bo, WANG Feng , JI Kai-fan , DENG Hui, DAI Wei, LIANG Bo（ 1. Yunnan Observatories, Chinese Academy of Sciences, Kunming 650011, China ; 2. University of Chinese Academy of Sciences, Beijing 100049, China ; 3. Computer Technology Application Key Laboratory of Yunnan Province, Kunming University of Science ＆ Technology, Kun- ming 650500, China）
With a large telescope in use, observing stations are facing problems of PB-level data storage and data retrieval. Because of the variability of the FITS file header, it is difficult to utilize the traditional relational database to store and retrieve the unstructured data efficiently. To address these problems, this paper proposed using NoSQL to store and query the metadata of the FITS file header. It discussed the shortcomings of using relational data model to store the variable header of a FITS file. It described the process of data storage and query, analyzed the feasibility of using NoSQ
ISSN:1001-3695
DOI:10.3969/j.issn.1001-3695.2015.02.031