首页 百科正文

人工智能 tensorflow(tensorflow 智能推荐)

woniu 百科 2021-07-27 16:30:02 11761 0 人工智能智能ar深度学习3d

百川东到海,何时复西归

深度学习框架TF道术:架构之道,实战之术,干货系列文章之原理篇1,分享之。

一、编程模型:TF采用符号编程方式构建数据流图,用于执行计算过程,例如,ReLU(WX+b):C,其中,W为权重,X为输入,b为偏置,ReLU为激活函数,C为代价函数,可以采用Python代码构造如下数据流图。

人工智能 tensorflow(tensorflow 智能推荐)

二、执行模型:TF在client侧构建好数据流图后,调用session.run将数据流图发送至master,master对数据流图进行拆分,拆分出子数据流图,发送至worker,worker调用kernel在device(CPU、GPU、TPU)上执行。

人工智能 tensorflow(tensorflow 智能推荐)

三、节点置放:对于多device,需要从数据流图的源node开始,将所有node映射到合适的device上,映射时需要考虑Op类型、输入输出Tensor大小、device执行时间、device间通信时间、前node置放情况等。

四、设备通信:一旦节点置放计算完毕,数据流图拆分成子图,每个子图对应一个device。TF通过send node和recv node优化device间通信,即新增send node和recv node,去掉x-y边,新增x-send边和y-recv边,这样不同使用者的相同数据可以合并到一个send-recv过程,只传输一次,在目标device上也只分配一次内存。这样的通信模型使得master将通信调度下放到worker上,更加灵活,易于扩展,且更加精准。

人工智能 tensorflow(tensorflow 智能推荐)

参考文献:

TensorFlow: Large-Scale Machine Learning on Heterogeneous Distributed Systems.

未名小宇宙,一直在您身边,欢迎关注!

版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。

本文链接:https://www.chinaai.com/baike/13456.html

发表评论

评论列表(0人评论 , 11761人围观)
☹还没有评论,来说两句吧...