基于RDMA和NVM的大数据系统一致性协议研究
分布式的存储系统以及计算系统是构造大数据处理系统的基础。系统的高可用性是任何一个分布式系统的基石,高可用技术一般依赖于一致性协议。讨论了经典的非拜占庭的分布式一致性协议以及新技术发展下的RDMA通信协议与NVM存储介质,通过RDMA和NVM的结合获得了更高性能的高可用系统。改进了一致性协议,使其能够更好地利用RDMA与NVM的特性。实现的系统在保证系统数据一致和可用的同时,有效地提高了协议实现的性能。实验表明,相比于现有的系统,实现的系统能够得到40%的性能提高。...
Saved in:
| Published in | 大数据 Vol. 7; no. 4; pp. 89 - 99 |
|---|---|
| Main Authors | , , , |
| Format | Journal Article |
| Language | Chinese |
| Published |
人民邮电出版社有限公司
01.08.2019
清华大学计算机科学与技术系,北京 100084 北京信息科学与技术国家研究中心,北京 100084 |
| Subjects | |
| Online Access | Get full text |
| ISSN | 2096-0271 |
| DOI | 10.11959/j.issn.2096-0271.2019034 |
Cover
| Abstract | 分布式的存储系统以及计算系统是构造大数据处理系统的基础。系统的高可用性是任何一个分布式系统的基石,高可用技术一般依赖于一致性协议。讨论了经典的非拜占庭的分布式一致性协议以及新技术发展下的RDMA通信协议与NVM存储介质,通过RDMA和NVM的结合获得了更高性能的高可用系统。改进了一致性协议,使其能够更好地利用RDMA与NVM的特性。实现的系统在保证系统数据一致和可用的同时,有效地提高了协议实现的性能。实验表明,相比于现有的系统,实现的系统能够得到40%的性能提高。 |
|---|---|
| AbstractList | 分布式的存储系统以及计算系统是构造大数据处理系统的基础。系统的高可用性是任何一个分布式系统的基石,高可用技术一般依赖于一致性协议。讨论了经典的非拜占庭的分布式一致性协议以及新技术发展下的RDMA通信协议与NVM存储介质,通过RDMA和NVM的结合获得了更高性能的高可用系统。改进了一致性协议,使其能够更好地利用RDMA与NVM的特性。实现的系统在保证系统数据一致和可用的同时,有效地提高了协议实现的性能。实验表明,相比于现有的系统,实现的系统能够得到40%的性能提高。 TP302.8; 分布式的存储系统以及计算系统是构造大数据处理系统的基础.系统的高可用性是任何一个分布式系统的基石,高可用技术一般依赖于一致性协议.讨论了经典的非拜占庭的分布式一致性协议以及新技术发展下的RDMA通信协议与NVM存储介质,通过RDMA和NVM的结合获得了更高性能的高可用系统.改进了一致性协议,使其能够更好地利用RDMA与NVM的特性.实现的系统在保证系统数据一致和可用的同时,有效地提高了协议实现的性能.实验表明,相比于现有的系统,实现的系统能够得到40％的性能提高. |
| Author | 武永卫 郑纬民 吴昊 陈康 |
| AuthorAffiliation | 清华大学计算机科学与技术系,北京 100084;北京信息科学与技术国家研究中心,北京 100084 |
| AuthorAffiliation_xml | – name: 清华大学计算机科学与技术系,北京 100084;北京信息科学与技术国家研究中心,北京 100084 |
| Author_FL | ZHENG Weimin CHEN Kang WU Yongwei WU Hao |
| Author_FL_xml | – sequence: 1 fullname: WU Hao – sequence: 2 fullname: CHEN Kang – sequence: 3 fullname: WU Yongwei – sequence: 4 fullname: ZHENG Weimin |
| Author_xml | – sequence: 1 fullname: 吴昊 organization: 清华大学计算机科学与技术系,北京100084 – sequence: 2 fullname: 陈康 organization: 清华大学计算机科学与技术系,北京100084 – sequence: 3 fullname: 武永卫 organization: 清华大学计算机科学与技术系,北京100084 – sequence: 4 fullname: 郑纬民 organization: 清华大学计算机科学与技术系,北京100084 |
| BookMark | eNo9j7tKA0EYhaeIYIx5CAsr2XVm516GeIVEQYLtMsnOSBaZgIPYphBsjIJoYxMLIdgsgiKSvE42m8dwYsTqfBwO_3_OGijZntUAbCAYIiSp3E7DrnM2jKBkAYw48oQkxKQEyv_eKqg6121DzAhmguEy4PlwPB3fnew0a_nD7dFps3i-zl9Hs6f32SArPibFZDj97s9vPmf9UT64n2dZ8fJYvH2tgxWjzp2u_mkFtPZ2W_WDoHG8f1ivNYIOYzzQHCLNqUgQYZwwIdsq8qW0QNIsynFlBO20JSUK6YQabBJFteCRV62IwRWwuTx7paxR9ixOe5cX1j-ME-XS34UEQu5zW8tcRzkXW-eSmAmBORGUQiKIpAuMPHkD_wCG7mdK |
| ClassificationCodes | TP302.8 |
| ContentType | Journal Article |
| Copyright | Copyright © Wanfang Data Co. Ltd. All Rights Reserved. |
| Copyright_xml | – notice: Copyright © Wanfang Data Co. Ltd. All Rights Reserved. |
| DBID | NSCOK 2B. 4A8 92I 93N PSX TCJ |
| DOI | 10.11959/j.issn.2096-0271.2019034 |
| DatabaseName | 国家哲学社会科学文献中心 (National Center for Philosophy and Social Sciences Documentation) Wanfang Data Journals - Hong Kong WANFANG Data Centre Wanfang Data Journals 万方数据期刊 - 香港版 China Online Journals (COJ) China Online Journals (COJ) |
| DatabaseTitleList | |
| DeliveryMethod | fulltext_linktorsrc |
| DocumentTitle_FL | Research on the consensus of big data systems based on RDMA and NVM |
| EndPage | 99 |
| ExternalDocumentID | dasj201904007 68837485504849574852484855 |
| GrantInformation_xml | – fundername: 国家重点研发计划基金资助项目; 国家自然科学基金资助项目; 中国博士后科学基金资助项目 funderid: (2016YFB1000504); (61433008, 61373145, 61572280, U1435216); (2018M630162) |
| GroupedDBID | -0I -SI -S~ 2RA 5VR 92M 9D9 9DI AAITT AAXDM ABGRJ AFUIB ALMA_UNASSIGNED_HOLDINGS CAJEI CQIGP FA0 GROUPED_DOAJ JUIAU NSCOK NTYSC PB1 PB5 Q-- Q-8 R-I RT9 S.. T8Y U1F U5I ~NM ~NO 2B. 4A8 92I 93N PSX TCJ |
| ID | FETCH-LOGICAL-c667-e701e758d14674689ba2190e819f19037af85cb954a1ed5f3fda5e872fdaea4f3 |
| ISSN | 2096-0271 |
| IngestDate | Thu May 29 03:56:13 EDT 2025 Tue Jan 21 20:52:42 EST 2025 |
| IsDoiOpenAccess | true |
| IsOpenAccess | true |
| IsPeerReviewed | false |
| IsScholarly | true |
| Issue | 4 |
| Keywords | 远程内存直接访问 分布式系统 一致性协议 大数据 非易失存储器 |
| Language | Chinese |
| LinkModel | OpenURL |
| MergedId | FETCHMERGED-LOGICAL-c667-e701e758d14674689ba2190e819f19037af85cb954a1ed5f3fda5e872fdaea4f3 |
| OpenAccessLink | http://dx.doi.org/10.11959/j.issn.2096-0271.2019034 |
| PageCount | 11 |
| ParticipantIDs | wanfang_journals_dasj201904007 cass_nssd_68837485504849574852484855 |
| PublicationCentury | 2000 |
| PublicationDate | 2019-08-01 |
| PublicationDateYYYYMMDD | 2019-08-01 |
| PublicationDate_xml | – month: 08 year: 2019 text: 2019-08-01 day: 01 |
| PublicationDecade | 2010 |
| PublicationTitle | 大数据 |
| PublicationTitle_FL | Big Data Research |
| PublicationYear | 2019 |
| Publisher | 人民邮电出版社有限公司 清华大学计算机科学与技术系,北京 100084 北京信息科学与技术国家研究中心,北京 100084 |
| Publisher_xml | – name: 人民邮电出版社有限公司 – name: 北京信息科学与技术国家研究中心,北京 100084 – name: 清华大学计算机科学与技术系,北京 100084 |
| SSID | ssib036436863 ssib024184013 ssib051371281 ssib057785240 ssib035218648 ssj0002857271 ssib058759006 |
| Score | 2.1658065 |
| Snippet | ... TP302.8;... |
| SourceID | wanfang cass |
| SourceType | Aggregation Database |
| StartPage | 89 |
| Title | 基于RDMA和NVM的大数据系统一致性协议研究 |
| URI | https://www.ncpssd.cn/Literature/articleinfo?id=68837485504849574852484855&type=journalArticle https://d.wanfangdata.com.cn/periodical/dasj201904007 |
| Volume | 7 |
| hasFullText | 1 |
| inHoldings | 1 |
| isFullTextHit | |
| isPrint | |
| link | http://utb.summon.serialssolutions.com/2.0.0/link/0/eLvHCXMwnV3NaxQxFA-1gngRRcX6sVRoTrJ1PpJJcsxMZynCVpBVelvmU-lhBXd76UF6ELxYBdGLl3oQipdFUETaf6fb7Z_he5mZnSl-e0nfJi8veXlN8ksmySNkKVcsYrmDDoiV12aJy9sqcbK2k0TCiQBzsAgvOHfXvNX77M46X587dbdxamlzFC8nWz-9V_I_VoU4sCvekv0Hy86EQgTQYF8IwcIQ_pWNacip6lBf05BhKMN7K11tYh0qg7UHXRoKqiCBYaRmVAsaelRx6ltIyBWqQ-TxXer7hvBRIoqTeAgihBAimWG2THaOuWQHkyBvkV1bVDFDKOp7TcD7m3IrW5v6WmUhCgrUdYqiSlEpkQX080Wd4lENQjwkQKYvy4ppv5lZulTZRi1NdVDyFn67qq0OvF0lm1sdhgtqwStVw4YOvCq1UN7IBkIV6gXGFAI5sdgZc9GaodFcm2Y1zLpTN70TmOICI4oV9b2FX0UK13bFWO1Y5ix34U2mmlhEo_-wxiRR-Ewq4UbhHurHiUxxZWYyFL88E49nEZVVbv-efCc8jYYbJpWZ1xVOO0KYcwvdp2E1wAJak831NIBvW3r1etj10B9B_R4bt12BX1pnv4WQ3KkfB-Kw2FVW-Zl-w-zUcsDDuMkxq_EZcrPS5_avtAE4lMBS0dybG-TR4GED4vXOk3Pl2mxRFx3tApnbenSRiMnu_uH-S-xYk9cvoEtN3z2bfNg7evvpaGc8_XwwPdg9_LZ9_PzL0fbeZOfV8Xg8ff9m-vHrJdLrhL1gtV16G2knHoCFTFh2BovnFKED86SKI5jMrQwQc46VFFEueRIrziI7S3nu5mnEMykc-JvBcOdeJvODx4PsClmMAfYLJ0kSWOuwTHixnXB8Vw-xeeam8QJZQnX7g-Ew7XtS4gtQkMgkUxxJByiIWCCtsjn65Zgz7J8w8tU_MVwjZ-tudJ3Mj55sZjcAQ4_iltl7apn_ju9WM5Bp |
| linkProvider | ISSN International Centre |
| openUrl | ctx_ver=Z39.88-2004&ctx_enc=info%3Aofi%2Fenc%3AUTF-8&rfr_id=info%3Asid%2Fsummon.serialssolutions.com&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Ajournal&rft.genre=article&rft.atitle=%E5%9F%BA%E4%BA%8ERDMA%E5%92%8CNVM%E7%9A%84%E5%A4%A7%E6%95%B0%E6%8D%AE%E7%B3%BB%E7%BB%9F%E4%B8%80%E8%87%B4%E6%80%A7%E5%8D%8F%E8%AE%AE%E7%A0%94%E7%A9%B6&rft.jtitle=%E5%A4%A7%E6%95%B0%E6%8D%AE&rft.au=%E5%90%B4%E6%98%8A&rft.au=%E9%99%88%E5%BA%B7&rft.au=%E6%AD%A6%E6%B0%B8%E5%8D%AB&rft.au=%E9%83%91%E7%BA%AC%E6%B0%91&rft.date=2019-08-01&rft.pub=%E6%B8%85%E5%8D%8E%E5%A4%A7%E5%AD%A6%E8%AE%A1%E7%AE%97%E6%9C%BA%E7%A7%91%E5%AD%A6%E4%B8%8E%E6%8A%80%E6%9C%AF%E7%B3%BB%2C%E5%8C%97%E4%BA%AC+100084&rft.issn=2096-0271&rft.volume=7&rft.issue=4&rft.spage=89&rft.epage=99&rft_id=info:doi/10.11959%2Fj.issn.2096-0271.2019034&rft.externalDocID=dasj201904007 |
| thumbnail_s | http://utb.summon.serialssolutions.com/2.0.0/image/custom?url=http%3A%2F%2Fwww.wanfangdata.com.cn%2Fimages%2FPeriodicalImages%2Fdasj%2Fdasj.jpg |