从TensorFlow 到 Caffe2：盘点深度学习框架(转)--内容非常全！

链接：http://mxnet.io/



MXNet（发音为mix-net）起源于卡内基梅隆大学和华盛顿大学的实验室。MXNet是一个全功能、可编程和可扩展的深度学习框架，支持最先进的深度学习模型。MXNet支持混合编程模型（命令式和声明式编程）和多种编程语言的代码（包括Python、C++、R、Scala、**、Matlab和JavaScript）。2017年1月30日，MXNet被列入ApacheIncubator开源项目。



MXNet支持深度学习架构，如卷积神经网络（CNN）、循环神经网络（RNN）和其包含的长短时间**网络（LTSM）。该框架为图像、手写文字和语音的识别和预测以及自然语言处理提供了出色的工具。有些人称MXNet是世界上最好的图像分类器。



MXNet具有可扩展的强大技术能力，如GPU并行和内存镜像、快速编程器开发和可移植性。此外，MXNet与ApacheHadoopYARN（一种通用分布式应用程序管理框架）集成，使MXNet成为TensorFlow有力的竞争对手。



MXNet不仅仅只是深度网络框架，它的区别在于支持生成对抗网络（GAN）模型。该模型启发自实验经济学方法的纳什均衡。

链接：http://torch.ch/



Torch由Facebook的RonanCollobert和SoumithChintala，Twitter的ClementFarabet（现任职于英伟达），以及GoogleDeepMind的KorayKavukcuoglu共同开发。很多科技巨头（如Facebook、Twitter和英伟达）都使用定制版的Torch用于人工智能研究，这大大促进了Torch的开发。Torch是BSD3协议下的开源项目。然而，随着Facebook对Caffe2的研究，以及其对移动设备的支持，Caffe2正成为主要的深度学习框架。



Torch的编程语言为Lua。Lua不是主流语言，在开发人员没有熟练掌握Lua之前，使用Torch很难提高开发的整体生产力。



Torch缺乏TensorFlow的分布式应用程序管理框架，也缺乏MXNet和Deeplearning4J对YARN的支持。缺乏多种编程语言的API也限制了开发人员。

地址：http://pytorch.org/



PyTorch由AdamPaszke、SamGross与SoumithChintala等人牵头开发，其成员来自FacebookFAIR和其他多家实验室。它是一种Python优先的深度学习框架，在今年1月被开源，提供了两种高层面的功能：



使用强大的GPU加速的Tensor计算（类似numpy）



构建于基于tape的autograd系统的深度神经网络



该框架结合了Torch7高效灵活的GPU加速后端库与直观的Python前端，它的特点是快速成形、代码可读和支持最广泛的深度学习模型。如有需要，你可以复用你最喜欢的Python软件包（如numpy、scipy和Cython）来扩展PyTorch。该框架因为其灵活性和速度，在推出以后迅速得到了开发者和研究人员的青睐。随着GitHub上越来越多代码的出现，PyTorch作为新框架缺乏资源的问题已经得以缓解。

地址：https://deeplearning4j.org/



Deeplearning4J（DL4J）是用Java和Scala编写的Apache2.0协议下的开源、分布式神经网络库。DL4J最初由SkyMind公司的AdamGibson开发，是唯一集成了Hadoop和Spark的商业级深度学习网络，并通过Hadoop和Spark协调多个主机线程。DL4J使用Map-Reduce来训练网络，同时依赖其它库来执行大型矩阵操作。



DL4J框架支持任意芯片数的GPU并行运行（对训练过程至关重要），并支持YARN（Hadoop的分布式应用程序管理框架）。DL4J支持多种深度网络架构：RBM、DBN、卷积神经网络（CNN）、循环神经网络（RNN）、RNTN和长短时间**网络（LTSM）。DL4J还对矢量化库Canova提供支持。



DL4J使用Java语言实现，本质上比Python快。在用多个GPU解决非平凡图像（non-trivialimage）识别任务时，它的速度与Caffe一样快。该框架在图像识别、欺诈检测和自然语言处理方面的表现出众。

地址：http://deeplearning.net/software/theano/



Theano由蒙特利尔大学算法学习人工智能实验室（MILA）维护。以Theano的创始人YoshuaBengio为首，该实验室是深度学习研究领域的重要贡献者，拥有约30至40名学生和教师。Theano支持快速开发高效的机器学习算法，在BSD协议下发布。



Theano的架构如同一个黑箱；整个代码库和接口使用Python，其中C/CUDA代码被打包成Python字符串。这使得开发人员很难导航（navigate）、调试和重构。



Theano开创了将符号图用于神经网络编程的趋势。Theano的符号式API支持循环控制（即scan），这使得实现RNN容易且高效。



Theano缺乏分布式应用程序管理框架，只支持一种编程开发语言。Theano是很好的学术研究工具，在单个CPU上运行的效率比TensorFlow更有效。然而，在开发和支持大型分布式应用程序时，使用Theano可能会遇到挑战。

卷积神经网络（CNN）经常被用于图像识别、推荐引擎和自然语言识别等方向的应用。CNN由一组多层的神经网络组成，在运行时会将输入的数据进行预定义分类的评分。CNN也可用于回归分析，例如构成自动驾驶汽车中有关转向角的模型。在横评中，我们评价一种框架的CNN建模能力考虑到以下几个特性：定义模型的机会空间、预构建层的可用性、以及可用于连接这些层的工具和功能。我们发现，Theano，Caffe和MXNet都有很好的CNN建模能力。其中，TensorFlow因为易于建立的InceptionV3模型，Torch因为其丰富的CNN资源——包括易于使用的时间卷积集使得这两种框架在CNN建模能力上脱颖而出。

循环神经网络（RNN）常用于语音识别，时间序列预测，图像字幕和其他需要处理顺序信息的任务。由于预建的RNN模型不如CNN数量多，因此，如果你已经有一个RNN深度学习项目，优先考虑旧RNN模型是在哪种框架里实现的最重要。目前，Caffe上的RNN资源最少，而Microsoft的CNTK和Torch有丰富的RNN教程和预构建模型。当然，最流行的TensorFlow中也有一些RNN资源，TFLearn和Keras中更有很多使用TensorFlow的RNN示例。

为在特定框架中构建和训练新模型，易于使用和模块化的前端是至关重要的。TensorFlow，Torch和MXNet都有直观而模块化的架构，让开发相对变得简单。相比之下，我们在Caffe这样的框架上需要进行大量的工作才能创建一个新层。另外我们发现在开发过程中，因为有TensorBoardwebGUI等应用的存在，TensorFlow极易在训练中和训练后进行debug和监控。

Torch和Nervana具有开源卷积神经网络基准测试的最佳性能：



https://github.com/soumith/convnet-benchmarks/blob/master/README.md



Tensorflow的性能在大多数测试中是具有竞争力的，而Caffe和Theano稍稍落后：



https://github.com/tobigithub/tensorflow-deep-learning/wiki/tf-benchmarks



微软声称他们的CNTK在一些RNN训练任务中有最快的速度。



在另一项对比Theano、Torch和TensorFlow的RNN性能的研究中，Theano是其中最快的：



https://arxiv.org/abs/1511.06435

大多数深度学习应用都需要用到巨量的浮点运算（FLOP）。例如，百度的DeepSpeech识别模型需要10sExaFLOPs用于训练，这是大于10e18的计算量：



https://arxiv.org/abs/1512.02595



考虑到目前英伟达Pascal架构的TitanX等顶级显卡可以每秒执行10e9FLOP：



https://www.nvidia.com/en-us/geforce/products/10series/titan-x-pascal/



因此，假如需要在大型数据集上训练一个新模型——用单GPU机器的话——可能会需要一个星期之久。为了减少构建模型所需的时间，我们需要使用多GPU并联的方式组建自己的机器。幸运的是，上述大部分架构都可以很好地支持多GPU运算。其中，据报道MXNet有着最好的多GPU优化引擎：



http://www.allthingsdistributed.com/2016/11/mxnet-default-framework-deep-learning-aws.html

Keras是一个用于快速构建深度学习原型的高级库。我们在实践中发现，它是数据科学家应用深度学习的好帮手。Keras目前支持两种后端框架：TensorFlow与Theano，而且Keras再过不久就会成为TensorFlow的默认API：



http://www.fast.ai/2017/01/03/keras/



尽管如此，Keras的作者表示，这一高级库在未来仍会作为支持多种框架的前端存在：



https://github.com/fchollet/keras/issues/5050#issuecomment-272945570