1. 2019年十大最佳深度学习框架
作者 | Python语音识别
来源 | 涛哥聊Python
虽然我们大多数人都惊叹为什么DL这么好？在使用大量数据进行训练时，它在准确性方面非常出色。近几年随着深度学习算法的发展，出现了很多深度学习的框架，这些框架各有所长，各具特色。下面将为大家介绍2019年最受欢迎的十大深度学习框架。
TensorFlow谷歌的Tensorflow可以说是当今最受欢迎的深度学习框架。Gmail，Uber，Airbnb，Nvidia以及其他许多知名品牌都在使用。TF是目前深度学习的主流框架，Tensorflow主要特性：
TensorFlow支持python、JavaScript、C ++、Java和Go，C＃和Julia等多种编程语言。 TF不仅拥有强大的计算集群，还可以在iOS和Android等移动平台上运行模型。 TF编程入门难度较大。初学者需要仔细考虑神经网络的架构，正确评估输入和输出数据的维度和数量。 TF使用静态计算图进行操作 。也就是说我们需要先定义图形，然后运行计算，如果我们需要对架构进行更改，我们会重新训练模型。选择这样的方法是为了提高效率，但是许多现代神经网络工具能够在学习过程中考虑改进而不会显着降低学习速度。在这方面，TensorFlow的主要竞争对手是PyTorch 。TensorFlow优点：
它非常适合创建和试验深度学习架构，便于数据集成，如输入图形，SQL表和图像。 它得到谷歌的支持，这就说明该模型短期内不会被抛弃，因此值得投入时间来学习它。 PyTorchTensorflow之后用于深度学习的主要框架是PyTorch。PyTorch框架是Facebook开发的，已被Twitter和Salesforce等公司使用。
PyTorch基本特性：
与TensorFlow不同，PyTorch库使用动态更新的图形进行操作 。这意味着它可以在流程中更改体系结构。 在PyTorch中，您可以使用标准调试器 ，例如pdb或PyCharm。PyTorch优点：
训练神经网络的过程简单明了。同时，PyTorch支持数据并行和分布式学习模型，并且还包含许多预先训练的模型。 PyTorch更适合小型项目和原型设计。 SonnetSonnet深度学习框架是建立在TensorFlow的基础之上。它是DeepMind用于创建具有复杂架构的神经网络。
Sonnet基本特性：
面向对象的库，在开发神经网络（NN）或其他机器学习（ML）算法时更加抽象。 Sonnet的想法是构造对应于神经网络的特定部分的主要Python对象。此外，这些对象独立地连接到计算TensorFlow图。分离创建对象并将其与图形相关联的过程简化了高级体系结构的设计。Sonnet优点：
Sonnet的主要优点是可以使用它来重现DeepMind论文中展示的研究，比Keras更容易，因为DeepMind论文模型就是使用Sonnet搭建的。 KerasKeras是一个机器学习框架，如果您拥有大量数据和/或你想快速入门深度学习，那么Keras将非常适合学习。Keras是TensorFlow高级集成APi，可以非常方便的和TensorFlow进行融合。这是我强烈推荐学习的一个库。
Keras基本特性：
除了Tensorflow之外，Keras还是其他流行的库（如Theano和CNTK）的高级API。 在Keras中更容易创建大规模的深度学习模型，但Keras框架环境配置比其他底层框架要复杂一些。Keras优点：
对于刚刚入门的人来说，Keras是最好的深度学习框架。它是学习和原型化简单概念的理想选择，可以理解各种模型和学习过程的本质。 Keras是一个简洁的API。 可以快速帮助您创建应用程序。 Keras中代码更加可读和简洁。 Keras模型序列化/反序列化API，回调和使用Python生成器的数据流非常成熟。顺便说一下TensorFlow和Keras的对比：
PS：Tensorflow处于底层框架：这和MXNet，Theano和PyTorch等框架一样。包括实现诸如广义矩阵 - 矩阵乘法和诸如卷积运算的神经网络原语之类的数学运算。
Keras处于高度集成框架。虽然更容易创建模型，但是面对复杂的网络结构时可能不如TensorFlow。
MXNetMXNet是一种高度可扩展的深度学习工具，可用于各种设备。虽然与TensorFlow相比，它似乎没有被广泛使用，但MXNet的增长可能会因为成为一个Apache项目而得到提升。
MXNet基本特性：
该框架支持多种语言，如C ++，Python，R，Julia，JavaScript，Scala，Go，甚至Perl。 可以在多个GPU和许多机器上非常有效地并行计算。MXNet优点：
支持多个GPU（具有优化的计算和快速上下文切换） 清晰且易于维护的代码（Python，R，Scala和其他API） 快速解决问题的能力（对于像我这样的深度学习新手至关重要）虽然它不像TF那么受欢迎，但MXNet具有详细的文档并且易于使用，能够在命令式和符号式编程风格之间进行选择，使其成为初学者和经验丰富的工程师的理想选择。
GLUONGluon是一个更好的深度学习框架，可以用来创建复杂的模型。GLUON基本特性：
Gluon的特殊性是具有一个灵活的界面，简化了原型设计，构建和培训深度学习模型，而不会牺牲学习速度。 Gluon基于MXNet，提供简单的API，简化深度学习模型的创建。 与PyTorch类似，Gluon框架支持使用动态图表 ，将其与高性能MXNet相结合。从这个角度来看，Gluon看起来像是分布式计算的Keras非常有趣的替代品。GLUON优点：
在Gluon中，您可以使用简单，清晰和简洁的代码定义神经网络。 它将训练算法和神经网络模型结合在一起，从而在不牺牲性能的情况下提供开发过程的灵活性。 Gluon可以定义动态的神经网络模型，这意味着它们可以动态构建，使用任何结构，并使用Python的任何本机控制流。 SWIFT当你听到Swift时，您可能会考虑iOS或MacOS的应用程序开发。但是如果你正在学习深度学习，那么你一定听说过Swens for Tensorflow。通过直接与通用编程语言集成，Swift for TensorFlow可以以前所未有的方式表达更强大的算法。SWIFT基本特性：
可以轻松获得可微分的自定义数据结构。 下一代API 。通过实践和研究获得的新API更易于使用且更强大。 在TensorFlow的基础上 ，Swift API为您提供对所有底层TensorFlow运算符的直接调用。 基于Jupyter、LLDB或者Swift in Colab的编程工具提高了您的工作效率。SWIFT优点：
如果动态语言不适合您的任务，那么这将是一个很好的选择。当你训练运行了几个小时，然后你的程序遇到类型错误，那么使用Swift，一种静态类型语言。您将看到代码错误的地方。 Chainer直到CMU的DyNet和Facebook的PyTorch出现之前，Chainer是动态计算图或网络的领先神经网络框架，它允许输入数据长度不一致。chainer基本特性：
Chainer代码是在Numpy和CuPy库的基础之上用纯Python编写的， Chainer是第一个使用动态架构模型的框架。Chainer优点：
通过自己的基准测试，Chainer明显比其他面向Python的框架更快，TensorFlow是包含MxNet和CNTK的测试组中最慢的。 比TensorFlow更好的GPU和GPU数据中心性能。最近Chainer成为GPU数据中心性能的全球冠军。 DL4J那些使用Java或Scala的人应该注意DL4J（Deep Learning for Java的简称）。DL4J的基本特性：
DL4J中的神经网络训练通过簇的迭代并行计算。 该过程由Hadoop和Spark架构支持。 使用Java允许您在Android设备的程序开发周期中使用。DL4J优点：
如果您正在寻找一个良好的Java深度学习框架，这会是一个非常好的平台。 ONNXONNX项目诞生于微软和Facebook，旨在寻找深度学习模型呈现的开放格式。ONNX简化了在人工智能的不同工作方式之间传递模型的过程。因此ONNX具有各种深度学习框架的优点。
ONNX基本特性：
ONNX使模型能够在一个框架中进行训练并转移到另一个框架中进行推理。ONNX模型目前在Caffe2，Microsoft Cognitive Toolkit，MXNet和PyTorch中得到支持，并且还有许多其他常见框架和库的连接器。ONNX优点：
对于PyTorch开发人员来说，ONNX是一个好的选择。但是对于那些喜欢TensorFlow的人来说，Keras等可能好一点。 总结那么您应该使用哪种深度学习框架？下面是几点建议：
如果你刚刚开始学习，那么最好的选择是Keras 。 出于研究目的，请选择PyTorch 。 对于生产，您需要关注环境。因此对于Google Cloud，最好的选择是TensorFlow ，适用于AWS - MXNet和Gluon 。 Android开发人员应该关注D4LJ ，对于iOS来说， Core ML会破坏类似的任务范围。 最后， ONNX将帮助解决不同框架之间的交互问题。2. 从零开始用Python构建神经网络
从零开始用Python构建神经网络
动机：为了更加深入的理解深度学习，我们将使用 python 语言从头搭建一个神经网络，而不是使用像 Tensorflow 那样的封装好的框架。我认为理解神经网络的内部工作原理，对数据科学家来说至关重要。
这篇文章的内容是我的所学，希望也能对你有所帮助。
神经网络是什么?
介绍神经网络的文章大多数都会将它和大脑进行类比。如果你没有深入研究过大脑与神经网络的类比，那么将神经网络解释为一种将给定输入映射为期望输出的数学关系会更容易理解。
神经网络包括以下组成部分
? 一个输入层，x
? 任意数量的隐藏层
? 一个输出层，?
? 每层之间有一组权值和偏置，W and b
? 为隐藏层选择一种激活函数，σ。在教程中我们使用 Sigmoid 激活函数
下图展示了 2 层神经网络的结构(注意：我们在计算网络层数时通常排除输入层)
2 层神经网络的结构
用 Python 可以很容易的构建神经网络类
训练神经网络
这个网络的输出 ? 为：
你可能会注意到，在上面的等式中，输出 ? 是 W 和 b 函数。
因此 W 和 b 的值影响预测的准确率. 所以根据输入数据对 W 和 b 调优的过程就被成为训练神经网络。
每步训练迭代包含以下两个部分:
? 计算预测结果 ?，这一步称为前向传播
? 更新 W 和 b,，这一步成为反向传播
下面的顺序图展示了这个过程：
前向传播
正如我们在上图中看到的，前向传播只是简单的计算。对于一个基本的 2 层网络来说，它的输出是这样的：
我们在 NeuralNetwork 类中增加一个计算前向传播的函数。为了简单起见我们假设偏置 b 为0：
但是我们还需要一个方法来评估预测结果的好坏(即预测值和真实值的误差)。这就要用到损失函数。
损失函数
常用的损失函数有很多种，根据模型的需求来选择。在本教程中，我们使用误差平方和作为损失函数。
误差平方和是求每个预测值和真实值之间的误差再求和，这个误差是他们的差值求平方以便我们观察误差的绝对值。
训练的目标是找到一组 W 和 b，使得损失函数最好小，也即预测值和真实值之间的距离最小。
反向传播
我们已经度量出了预测的误差(损失)，现在需要找到一种方法来传播误差，并以此更新权值和偏置。
为了知道如何适当的调整权值和偏置，我们需要知道损失函数对权值 W 和偏置 b 的导数。
回想微积分中的概念，函数的导数就是函数的斜率。
梯度下降法
如果我们已经求出了导数，我们就可以通过增加或减少导数值来更新权值 W 和偏置 b(参考上图)。这种方式被称为梯度下降法。
但是我们不能直接计算损失函数对权值和偏置的导数，因为在损失函数的等式中并没有显式的包含他们。因此，我们需要运用链式求导发在来帮助计算导数。
链式法则用于计算损失函数对 W 和 b 的导数。注意，为了简单起见。我们只展示了假设网络只有 1 层的偏导数。
这虽然很简陋，但是我们依然能得到想要的结果—损失函数对权值 W 的导数(斜率)，因此我们可以相应的调整权值。
现在我们将反向传播算法的函数添加到 Python 代码中
为了更深入的理解微积分原理和反向传播中的链式求导法则，我强烈推荐 3Blue1Brown 的如下教程：
Youtube：https://youtu.be/tIeHLnjs5U8
整合并完成一个实例
既然我们已经有了包括前向传播和反向传播的完整 Python 代码，那么就将其应用到一个例子上看看它是如何工作的吧。
神经网络可以通过学习得到函数的权重。而我们仅靠观察是不太可能得到函数的权重的。
让我们训练神经网络进行 1500 次迭代，看看会发生什么。 注意观察下面每次迭代的损失函数，我们可以清楚地看到损失函数单调递减到最小值。这与我们之前介绍的梯度下降法一致。
让我们看看经过 1500 次迭代后的神经网络的最终预测结果：
经过 1500 次迭代训练后的预测结果
我们成功了!我们应用前向和方向传播算法成功的训练了神经网络并且预测结果收敛于真实值。
注意预测值和真实值之间存在细微的误差是允许的。这样可以防止模型过拟合并且使得神经网络对于未知数据有着更强的泛化能力。
下一步是什么?
幸运的是我们的学习之旅还没有结束，仍然有很多关于神经网络和深度学习的内容需要学习。例如：
? 除了 Sigmoid 以外，还可以用哪些激活函数
? 在训练网络的时候应用学习率
? 在面对图像分类任务的时候使用卷积神经网络
我很快会写更多关于这个主题的内容，敬请期待!
最后的想法
我自己也从零开始写了很多神经网络的代码
虽然可以使用诸如 Tensorflow 和 Keras 这样的深度学习框架方便的搭建深层网络而不需要完全理解其内部工作原理。但是我觉得对于有追求的数据科学家来说，理解内部原理是非常有益的。
这种练习对我自己来说已成成为重要的时间投入，希望也能对你有所帮助
3. 一文看懂四种基本的神经网络架构
原文链接：
http://blackblog.tech/2018/02/23/Eight-Neural-Network/
更多干货就在我的个人博客 http://blackblog.tech 欢迎关注
刚刚入门神经网络，往往会对众多的神经网络架构感到困惑，神经网络看起来复杂多样，但是这么多架构无非也就是三类，前馈神经网络，循环网络，对称连接网络，本文将介绍四种常见的神经网络，分别是CNN，RNN，DBN，GAN。通过这四种基本的神经网络架构，我们来对神经网络进行一定的了解。
神经网络是机器学习中的一种模型，是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。
一般来说，神经网络的架构可以分为三类：
前馈神经网络：
这是实际应用中最常见的神经网络类型。第一层是输入，最后一层是输出。如果有多个隐藏层，我们称之为“深度”神经网络。他们计算出一系列改变样本相似性的变换。各层神经元的活动是前一层活动的非线性函数。
循环网络：
循环网络在他们的连接图中定向了循环，这意味着你可以按照箭头回到你开始的地方。他们可以有复杂的动态，使其很难训练。他们更具有生物真实性。
循环网络的目的使用来处理序列数据。在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题却无能无力。例如，你要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独立的。
循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。
对称连接网络：
对称连接网络有点像循环网络，但是单元之间的连接是对称的（它们在两个方向上权重相同）。比起循环网络，对称连接网络更容易分析。这个网络中有更多的限制，因为它们遵守能量函数定律。没有隐藏单元的对称连接网络被称为“Hopfield 网络”。有隐藏单元的对称连接的网络被称为玻尔兹曼机。
其实之前的帖子讲过一些关于感知机的内容，这里再复述一下。
首先还是这张图
这是一个M-P神经元
一个神经元有n个输入，每一个输入对应一个权值w，神经元内会对输入与权重做乘法后求和，求和的结果与偏置做差，最终将结果放入激活函数中，由激活函数给出最后的输出，输出往往是二进制的，0 状态代表抑制，1 状态代表激活。
可以把感知机看作是 n 维实例空间中的超平面决策面，对于超平面一侧的样本，感知器输出 1，对于另一侧的实例输出 0，这个决策超平面方程是 w⋅x=0。 那些可以被某一个超平面分割的正反样例集合称为线性可分(linearly separable)样例集合，它们就可以使用图中的感知机表示。
与、或、非问题都是线性可分的问题，使用一个有两输入的感知机能容易地表示，而异或并不是一个线性可分的问题，所以使用单层感知机是不行的，这时候就要使用多层感知机来解决疑惑问题了。
如果我们要训练一个感知机，应该怎么办呢？
我们会从随机的权值开始，反复地应用这个感知机到每个训练样例，只要它误分类样例就修改感知机的权值。重复这个过程，直到感知机正确分类所有的样例。每一步根据感知机训练法则来修改权值，也就是修改与输入 xi 对应的权 wi，法则如下：
这里 t 是当前训练样例的目标输出，o 是感知机的输出，η 是一个正的常数称为学习速率。学习速率的作用是缓和每一步调整权的程度，它通常被设为一个小的数值（例如 0.1），而且有时会使其随着权调整次数的增加而衰减。
多层感知机，或者说是多层神经网络无非就是在输入层与输出层之间加了多个隐藏层而已，后续的CNN，DBN等神经网络只不过是将重新设计了每一层的类型。感知机可以说是神经网络的基础，后续更为复杂的神经网络都离不开最简单的感知机的模型，
谈到机器学习，我们往往还会跟上一个词语，叫做模式识别，但是真实环境中的模式识别往往会出现各种问题。比如：
图像分割：真实场景中总是掺杂着其它物体。很难判断哪些部分属于同一个对象。对象的某些部分可以隐藏在其他对象的后面。
物体光照：像素的强度被光照强烈影响。
图像变形：物体可以以各种非仿射方式变形。例如，手写也可以有一个大的圆圈或只是一个尖头。
情景支持：物体所属类别通常由它们的使用方式来定义。例如，椅子是为了让人们坐在上面而设计的，因此它们具有各种各样的物理形状。
卷积神经网络与普通神经网络的区别在于，卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器。在卷积神经网络的卷积层中，一个神经元只与部分邻层神经元连接。在CNN的一个卷积层中，通常包含若干个特征平面(featureMap)，每个特征平面由一些矩形排列的的神经元组成，同一特征平面的神经元共享权值，这里共享的权值就是卷积核。卷积核一般以随机小数矩阵的形式初始化，在网络的训练过程中卷积核将学习得到合理的权值。共享权值（卷积核）带来的直接好处是减少网络各层之间的连接，同时又降低了过拟合的风险。子采样也叫做池化（pooling），通常有均值子采样（mean pooling）和最大值子采样（max pooling）两种形式。子采样可以看作一种特殊的卷积过程。卷积和子采样大大简化了模型复杂度，减少了模型的参数。
卷积神经网络由三部分构成。第一部分是输入层。第二部分由n个卷积层和池化层的组合组成。第三部分由一个全连结的多层感知机分类器构成。
这里举AlexNet为例：
·输入：224×224大小的图片，3通道
·第一层卷积：11×11大小的卷积核96个，每个GPU上48个。
·第一层max-pooling：2×2的核。
·第二层卷积：5×5卷积核256个，每个GPU上128个。
·第二层max-pooling：2×2的核。
·第三层卷积：与上一层是全连接，3*3的卷积核384个。分到两个GPU上个192个。
·第四层卷积：3×3的卷积核384个，两个GPU各192个。该层与上一层连接没有经过pooling层。
·第五层卷积：3×3的卷积核256个，两个GPU上个128个。
·第五层max-pooling：2×2的核。
·第一层全连接：4096维，将第五层max-pooling的输出连接成为一个一维向量，作为该层的输入。
·第二层全连接：4096维
·Softmax层：输出为1000，输出的每一维都是图片属于该类别的概率。
卷积神经网络在模式识别领域有着重要应用，当然这里只是对卷积神经网络做了最简单的讲解，卷积神经网络中仍然有很多知识，比如局部感受野，权值共享，多卷积核等内容，后续有机会再进行讲解。
传统的神经网络对于很多问题难以处理，比如你要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独立的。RNN之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。理论上，RNN能够对任何长度的序列数据进行处理。
这是一个简单的RNN的结构，可以看到隐藏层自己是可以跟自己进行连接的。
那么RNN为什么隐藏层能够看到上一刻的隐藏层的输出呢，其实我们把这个网络展开来开就很清晰了。
从上面的公式我们可以看出，循环层和全连接层的区别就是循环层多了一个权重矩阵 W。
如果反复把式2带入到式1，我们将得到：
在讲DBN之前，我们需要对DBN的基本组成单位有一定的了解，那就是RBM，受限玻尔兹曼机。
首先什么是玻尔兹曼机？
[图片上传失败...(image-d36b31-1519636788074)]
如图所示为一个玻尔兹曼机，其蓝色节点为隐层，白色节点为输入层。
玻尔兹曼机和递归神经网络相比，区别体现在以下几点：
1、递归神经网络本质是学习一个函数，因此有输入和输出层的概念，而玻尔兹曼机的用处在于学习一组数据的“内在表示”，因此其没有输出层的概念。
2、递归神经网络各节点链接为有向环，而玻尔兹曼机各节点连接成无向完全图。
而受限玻尔兹曼机是什么呢？
最简单的来说就是加入了限制，这个限制就是将完全图变成了二分图。即由一个显层和一个隐层构成，显层与隐层的神经元之间为双向全连接。
h表示隐藏层，v表示显层
在RBM中，任意两个相连的神经元之间有一个权值w表示其连接强度，每个神经元自身有一个偏置系数b（对显层神经元）和c（对隐层神经元）来表示其自身权重。
具体的公式推导在这里就不展示了
DBN是一个概率生成模型，与传统的判别模型的神经网络相对，生成模型是建立一个观察数据和标签之间的联合分布，对P(Observation|Label)和 P(Label|Observation)都做了评估，而判别模型仅仅而已评估了后者，也就是P(Label|Observation)。
DBN由多个限制玻尔兹曼机（Restricted Boltzmann Machines）层组成，一个典型的神经网络类型如图所示。这些网络被“限制”为一个可视层和一个隐层，层间存在连接，但层内的单元间不存在连接。隐层单元被训练去捕捉在可视层表现出来的高阶数据的相关性。
生成对抗网络其实在之前的帖子中做过讲解，这里在说明一下。
生成对抗网络的目标在于生成，我们传统的网络结构往往都是判别模型，即判断一个样本的真实性。而生成模型能够根据所提供的样本生成类似的新样本，注意这些样本是由计算机学习而来的。
GAN一般由两个网络组成，生成模型网络，判别模型网络。
生成模型 G 捕捉样本数据的分布，用服从某一分布（均匀分布，高斯分布等）的噪声 z 生成一个类似真实训练数据的样本，追求效果是越像真实样本越好；判别模型 D 是一个二分类器，估计一个样本来自于训练数据（而非生成数据）的概率，如果样本来自于真实的训练数据，D 输出大概率，否则，D 输出小概率。
举个例子：生成网络 G 好比假币制造团伙，专门制造假币，判别网络 D 好比警察，专门检测使用的货币是真币还是假币，G 的目标是想方设法生成和真币一样的货币，使得 D 判别不出来，D 的目标是想方设法检测出来 G 生成的假币。
传统的判别网络：
生成对抗网络：
下面展示一个cDCGAN的例子（前面帖子中写过的）
生成网络
判别网络
最终结果，使用MNIST作为初始样本，通过学习后生成的数字，可以看到学习的效果还是不错的。
本文非常简单的介绍了四种神经网络的架构，CNN，RNN，DBN，GAN。当然也仅仅是简单的介绍，并没有深层次讲解其内涵。这四种神经网络的架构十分常见，应用也十分广泛。当然关于神经网络的知识，不可能几篇帖子就讲解完，这里知识讲解一些基础知识，帮助大家快速入（zhuang）门（bi）。后面的帖子将对深度自动编码器，Hopfield 网络长短期记忆网络（LSTM）进行讲解。
4. 卷积神经网络使用哪种框架最好 TensorFlow or Caffe
tensorflow跟caffe、mxnet、pytorch等一样是一个深度学习工具箱，其中当然也包含卷积神经网络工具箱。
5. 如何选择深度学习框架 TensorFlow/Torch/Mxnet/Theano
深度学习目前的应用领域很多，主要是计算机视觉和自然语言处理，以及各种预测等。对于计算机视觉，可以做图像分类、目标检测、视频中的目标检测等，对于自然语言处理，可以做语音识别、语音合成、对话系统、机器翻译、文章摘要、情感分析等。
对于刚入行深度学习，想从事人工智能工业应用和研发的小白来说，选择一个适合自己的深度学习框架显得尤为重要。那么在选择深度学习框架的时候，要注意哪些内容呢?
通常我们在选择框架时要考虑易用性、性能、社区、平台支持等问题。初学者应该考虑容易上手的框架，偏工业应用的开发者可以考虑使用稳定性高、性能好的框架，偏研究性的开发者，一般选择易用而且有领先的模型基线的框架。
目前这个阶段，TensorFlow因为背靠谷歌公司这座靠山，再加上拥有庞大的开发者群体，而且采用了称为“可执行的伪代码”的Python语言，成为最受欢迎的主流框架之一。一些外围的第三方库(如Keras、TFLearn)也基于它实现了很多成果，Keras还得到TensorFlow官方的支持。TensorFlow支持的上层语言也在逐渐扩大，对于不同工程背景的人转入的门槛正在降低。
因此，对于刚入行深度学习的小白，TensorFlow是一个非常好的选择，掌握TensorFlow对以后的求职发展很有帮助。
为了让大家更快地掌握深度学习技术，成为人工智能领域高端人才，中公教育联合中科院自动化研究所专家，强力推出人工智能《深度学习》，让大家学有所成、真正掌握机器学习模型以及算法背后的原理。