论文微软亚洲院异构计算组副员张宸：微软神经网络切割法可使加速作用超线性，该文是关于神经网络电大毕业论文范文跟张宸和副研究员和神经网络相关开题报告范文.
考虑到FPGA的发展现状、未来趋势以及中国的产业发展状况,微软根据多年的经验,总结出一些创新点与大家分享.首先,随着摩尔定律渐渐地进入暮年,不管是功耗还是频率,或是片上的计算资源,都受到了很大的挑战.但是,我们的应用需求却不断地增加.因此,如何进一步提升数据中心的计算能力和规模,成为微软的思考重点.
众所周知,微软在2012年年底就开始了FPGA方面的探讨研发.到目前为止,微软在数据中心已经部署了25万台FPGA.在互联网公司中,微软是部署FPGA最多的一家公司,也是投入最多的一家公司.为什么微软会选择FPGA而不是选择其他的器件呢？张宸表示,首先要从人工智能或者说新的机器学习应用开始说起.机器学习的成功全部依赖于巨大的模型和多层的神经网络.这样的神经网络需要几十亿,甚至几百亿的运算,因此需要极低的延迟,这就意味着在线上实时计算的能力要达到每秒万亿次至几百万亿次的运算能力.而FPGA高效、低延迟、低开销和规模化等优点,完全迎合上面所有需求.
除此之外,FPGA良好的可重构性也是原因之一.张宸表示,可重构性可以在同样的数据中心部署相同的硬件资源.“在实际使用的时候,可以重新配置成不同的硬件电路,这样可以提升规模化,同时可以保护我们的投资.”张宸说.
目前,市场上的FPGA需要通过PCle访问CPU才能够连接到计算机网络.“早期神经网络的加速也是与FPGA的集成方式相关.把神经网络,或者说人工智能的模型放在FPGA的内存中,这样的实现方式带来了一些问题：网络带宽需求增大,而FPGA的带宽是非常有限的.除此之外,FPGA在神经网络的计算和种类非常多,因此,加速比受到非常大的影响.针对这些问题,微软提出了分布式FPGA的架构,解决了CPU和网络的连接关系.”张宸说.
微软除了提出分布式FPGA架构,还对计算机网络进行了优化.张宸介绍,目前微软的计算机网络只需要4毫秒,就可以传输完一个机架上所有的FPGA.“在这样的架构支持下,FPGA在神经网络上实现了非常新颖的方式,也就是持久化.这种方式把神经网络切割成很多子图,这些子图可以在不同的FPGA上运行.”张宸说.
这种解决方案,对神经网络的加速效果是超线性的.张宸表示,神经网络被切割到多块的FPGA上,因此FPGA不需要访问本地内存,节省了很多缓存带宽.“在这种情况下,会收到超线性的效果.”张宸说.
对于人工智能,张宸表示,FPGA加速器不仅需要通过硬件来分析计算性能,同时还需要充分利用FPGA的软件可通过性.“我们希望即使在同一个场景中的人工智能,也可以有不同的运行参数.因为,我们希望节省FPGA的重构时间,通过软件定义硬件运行方式,也就是利用我们的软件可定义的神经网络加速器,达到比较好的效果.”张宸说.
本文总结：这是适合不知如何写张宸和副研究员和神经网络方面的神经网络专业大学硕士和本科毕业论文以及关于神经网络论文开题报告范文和相关职称论文写作参考文献资料.
参考文献：
1、 搭建同课平台，巧借异构之力，促年轻教师成长 同课异构是指针对学内容,由不同教师根据相同的教学条件,采用不同的教学设计、教学方法、手段,通过“异构”教学的差异性,借助不同策略、多维的角度,及时进行教学回溯、诊断,合作探讨、.
2、 学会回首：数学教育的理性呼唤对同课异构之异 摘要对“同课异构”之“异”提出质疑,认为教师应学会“教学言语”“教学行为”“回首&rdquo.
3、 我善养吾浩然之气同课异构教学谈 摘要从调动学生学习积极性的角度看,对于一篇具体课文,不同的教学设计,效果肯定有着优劣之分 追求专业成长的语文教师要勇于探索,勇于实践,在吃透文本、熟悉学情的前提下,可以兼顾“巧&rdquo.
4、 将关联进行到底和特级教师同课异构学到的 摘 要与北京市特级教师张海滨老师同课异构草船借箭,课后进行对比分析,发现张老师的课注重一课一得 他将“关联”做足,做透,让学生关联着看,关联着想,关联着找,关联着读,引领学生通.
5、 彰显新诗教学的魅力简评三堂《乡愁》同课异构课 贾龙弟（浙江省平湖市黄姑中学,314203）摘要三位教师执教乡愁,教“新”不忘“旧”,教“诗”不忘“言”.