基于RDMA和NVM的大数据系统一致性协议研究

分布式的存储系统以及计算系统是构造大数据处理系统的基础。系统的高可用性是任何一个分布式系统的基石,高可用技术一般依赖于一致性协议。讨论了经典的非拜占庭的分布式一致性协议以及新技术发展下的RDMA通信协议与NVM存储介质,通过RDMA和NVM的结合获得了更高性能的高可用系统。改进了一致性协议,使其能够更好地利用RDMA与NVM的特性。实现的系统在保证系统数据一致和可用的同时,有效地提高了协议实现的性能。实验表明,相比于现有的系统,实现的系统能够得到40%的性能提高。...

Full description

Saved in:
Bibliographic Details
Published in大数据 Vol. 7; no. 4; pp. 89 - 99
Main Authors 吴昊, 陈康, 武永卫, 郑纬民
Format Journal Article
LanguageChinese
Published 人民邮电出版社有限公司 01.08.2019
清华大学计算机科学与技术系,北京 100084
北京信息科学与技术国家研究中心,北京 100084
Subjects
远程内存直接访问
分布式系统
一致性协议
大数据
非易失存储器
Online AccessGet full text
ISSN2096-0271
DOI10.11959/j.issn.2096-0271.2019034

Cover

More Information
Summary:分布式的存储系统以及计算系统是构造大数据处理系统的基础。系统的高可用性是任何一个分布式系统的基石,高可用技术一般依赖于一致性协议。讨论了经典的非拜占庭的分布式一致性协议以及新技术发展下的RDMA通信协议与NVM存储介质,通过RDMA和NVM的结合获得了更高性能的高可用系统。改进了一致性协议,使其能够更好地利用RDMA与NVM的特性。实现的系统在保证系统数据一致和可用的同时,有效地提高了协议实现的性能。实验表明,相比于现有的系统,实现的系统能够得到40%的性能提高。
ISSN:2096-0271
DOI:10.11959/j.issn.2096-0271.2019034