深度学习的基本原理讨论----抛砖引玉

1万 · 2017-10-31 09:13

本帖最后由 keer_zu 于 2017-11-1 06:42 编辑

第一，深度学习的三个步骤

更加具体：

训练：

step1: 创建一组函数比如神经元。
step2: 通过数据训练这些function.
step3: 选取“最好的”function".

测试：
对选取的"function"测试。

@21ic小喇叭 @21ic小管家 @21小跑堂 @gaoyang9992006 @isbit @sherwin @许世霞 @chunyang
欢迎讨论

1万 · 2017-10-31 13:20

现在卷积神经网络已经在深度学习领域中奠定了霸主地位，图中的function在卷积神经网络中就是卷积核，卷积神经网络的一大优势就在于权值共享。

1万 · 2017-10-31 13:23

下面图中的一个类似神经元的系统

其中最左侧ai为输入，wi为权值，b为偏置，在现实世界中系统大部分不是0均值的，这个值也是被”训练“的内容。

这个function是激活函数，把线性的部分转化成非线性。

1万 · 2017-10-31 13:25

@21ic小喇叭 @21小跑堂 @21ic小管家

给个编辑推荐吧，让更多人出来讨论。

1万 · 2017-10-31 13:33

本帖最后由 keer_zu 于 2017-10-31 13:37 编辑

传统神经网络中最常用的两个激活函数，Sigmoid系（Logistic-Sigmoid、Tanh-Sigmoid）被视为神经网络的核心所在。
下面是Sigmoid Function

从数学上来看，非线性的Sigmoid函数对中央区的信号增益较大，对两侧区的信号增益小，在信号的特征空间映射上，有很好的效果。
从神经科学上来看，中央区酷似神经元的兴奋态，两侧区酷似神经元的抑制态，因而在神经网络学习方面，可以将重点特征推向中央区，将非重点特征推向两侧区。
无论是哪种解释，看起来都比早期的线性激活函数(y=x),阶跃激活函数(-1/1,0/1)高明了不少。

但现在深层网络不再用这种激活函数了，而是用ReLU，在大于零时为线性，小于零为零，这种激活函数在深层网络中能有效对抗训练过程中的梯度消失问题。

1万 · 2017-10-31 13:51

对于入门选用哪一个项目，具体如下建议：

Caffe2对代码要求更低，挺适合新手入门的，但是实际项目使用难度会比tf高。tensorflow的话建议使用keras，这个是高级的封装接口，使用起来更简单方便。不过入门建议先百度深度学习，看看博客普及下基础知识。

2万 · 2017-11-1 10:09

大家讨论起来，先看看热度，后期我们再考虑加板块~

1万 · 2017-11-1 15:07

21ic小喇叭发表于 2017-11-1 10:09
大家讨论起来，先看看热度，后期我们再考虑加板块~

这个很热的，却被很多人祭出“不跟风”的大旗而忽视，等以后一定会为此迷茫的

1万 · 2017-11-4 17:02

yyy71cj 发表于 2017-11-4 09:26
没有下文了？

没人关注，暂停一下。

1万 · 2017-11-4 20:42

yyy71cj 发表于 2017-11-4 20:29
更不要用什么图示来弄得像个数学问题，我不喜欢那些故作高深的理论路线，简单一些不好吗？ ...

已经很不“数学”了

只看该作者 · 2017-11-4 22:33

支持大神讲课

只看该作者 · 2017-11-5 09:13

支持楼主

1万 · 2017-11-5 21:38

ianhom 发表于 2017-11-5 09:13
支持楼主

1万 · 2017-11-5 21:38

buer1209 发表于 2017-11-4 22:33
支持大神讲课

1万 · 2017-11-6 08:47

yyy71cj 发表于 2017-11-5 08:22
好好的一个深入学习，关曲线图多少事呢？

深度学习不是想象中的“深度学习”

1万 · 2017-11-6 08:47

yyy71cj 发表于 2017-11-5 08:22
好好的一个深入学习，关曲线图多少事呢？

深度学习不是想象中的“深度学习”

1万 · 2017-11-6 13:02

yyy71cj 发表于 2017-11-6 12:47
那是什么深度？汉字有时候很难理解呢

先看看基本原理吧。

只看该作者 · 2017-11-7 12:00

那根据你的 3 step，让我想到所谓的遗传算法

1万 · 2017-11-7 12:25

renxiaolin 发表于 2017-11-7 12:00
那根据你的 3 step，让我想到所谓的遗传算法

遗传算法，也只是听说过，给我科普一下吧

只看该作者 · 2017-11-7 13:35

keer_zu 发表于 2017-11-7 12:25
遗传算法，也只是听说过，给我科普一下吧

那需要比较大的一个篇幅，你百度，原理很简单，不懂的地方可以讨论

深度学习的基本原理讨论----抛砖引玉

相关下载

相关帖子

突出贡献奖章

沉静之湖泊

七世轮回

技术奇才奖章

伴坛终老

技术新星奖章

涓涓之细流

社区建设奖章