大规模神经网络最新文献综述训练高效DNN

选自arXiv

作者：JuliaGusak等

机器之心编译

编辑：杜伟、泽南

在本综述论文中，研究者解释了不同技术的工作原理、评估和比较，还分析了一些实现这些技术的框架。

现代深度学习和人工智能技术的发展涉及使用深度神经网络（DNN）来解决图像、视频、音频、自然语言处理、图像形式的内容生成等各种问题，或生成给定格式主题的文本等任务。

俄罗斯斯科尔科沃科学技术研究所、法国里尔大学、波尔多大学、Inria等科研机构联合发表了一篇论文《SurveyonLargeScaleNeuralNetworkTraining》，它试图解决的问题是：若给定模型和计算平台的情形下，如何训练才是最有效率的。为了使训练高效，其必须可行，最大程度地利用资源的计算能力，在并行情况下，它不能让信息传输成为瓶颈。训练的效率从根本上取决于计算内核在计算资源（CPU、TPU、GPU）上的有效实现以及GPU之间和不同内存之间通信的有效实现。

论文链接：

转载请注明：http://www.odnmh.com/wazz/15366.html