基于异构硬件的LSTM训练系统

在大数据时代，以LSTM为代表的深度神经网络模型具有处理海量数据的能力，在语言处理、语音识别、时序数据预测等领域表现优异。随着模型复杂度的提高，训练成本大幅提升。现有的LSTM训练系统使用了算子融合、多流等加速手段，但忽略了训练算子内部计算的可并行性，导致计算资源的利用率低，整体耗时长。为此，设计了基于细粒度模型划分和多流并行调度方法的LSTM训练系统TurboLSTM，在英伟达GPU和国产昇腾NPU这两种异构硬件上构建的全新底层训练算子实现了任务对计算资源的合理利用。与已有训练系统相比，在GPU上TurboLSTM的单算子训练时间缩短了23%，模型的整体训练时间缩短了17%，在NPU上Tur...

Full description

Saved in:
Bibliographic Details
Published in大数据 Vol. 10; no. 4; pp. 172 - 188
Main Authors 黄为新, 胡伟方, 曹雪娇, 石宣化
Format Journal Article
LanguageChinese
Published 人民邮电出版社有限公司 15.07.2024
华中科技大学计算机科学与技术学院,湖北武汉 430074
华中科技大学大数据技术与系统国家地方联合工程研究中心,服务计算技术与系统教育部重点实验室,湖北 武汉 430074
China InfoCom Media Group
Subjects
lstm
多流调度
细粒度并行
训练加速
训练加速
LSTM
多流调度
细粒度并行
fine-grained parallelism
multi-stream scheduling
training acceleration
Online AccessGet full text
ISSN2096-0271
DOI10.11959/j.issn.2096-0271.2024053

Cover

More Information
Summary:在大数据时代，以LSTM为代表的深度神经网络模型具有处理海量数据的能力，在语言处理、语音识别、时序数据预测等领域表现优异。随着模型复杂度的提高，训练成本大幅提升。现有的LSTM训练系统使用了算子融合、多流等加速手段，但忽略了训练算子内部计算的可并行性，导致计算资源的利用率低，整体耗时长。为此，设计了基于细粒度模型划分和多流并行调度方法的LSTM训练系统TurboLSTM，在英伟达GPU和国产昇腾NPU这两种异构硬件上构建的全新底层训练算子实现了任务对计算资源的合理利用。与已有训练系统相比，在GPU上TurboLSTM的单算子训练时间缩短了23%，模型的整体训练时间缩短了17%，在NPU上TurboLSTM的单算子训练时间缩短了15%，且对计算资源的利用率显著提高。这表明提出的加速方案是高效的，具有良好的泛化能力。
ISSN:2096-0271
DOI:10.11959/j.issn.2096-0271.2024053