物理神经网络
看到最近在 Nature 杂志上发表的一篇文章 Deep Physical Neural Networks Trained with Backpropogation[1] 介绍了利用多层非线性物理系统构建深度学习网络，并通过反向随机梯度下降完成系统训练方法的确令人惊讶、毁人三观。
你敢想象利用几只扬声器，或者几只场效应管就可以组成深度物理神经网络（Physical Neural Networks），完成图像分类？分类效果比起传统的数字神经网络也不逊色。对于MNIST手写体数字识别也可达到97%以上。（见下面基于四通道双谐波信号发生器（SHG）方案）
11.jpg
图1 分别基于机械系统、电子线路、光学系统构建的P物理神经网络
这类建构在物理系统而非数字处理器之上的神经网络目标是在推理速度和能效方面超过传统数字计算机，构建智能传感器和高效网络推理。找元件现货上唯样商城
猜测大多数人和我一样，第一看到这个文章都会有疑问：这类常见到的扬声器、三极管、光学透镜怎么就能够像深度学习网络那样完成学习训练和推理的呢？特别是这其中都是一些常见到的物理系统，这里面并没有包含什么量子计算机、神经计算机之类结构。
文章包含的工作很多（原文PDF有60多页），我还没有看完，不过文章一开始把为什么物理神经网络能够实现人工神经网络算法的原理还是讲的比较明白。传统的深度学习可以分解若干网络层的级联计算，每一层的计算包括输入数据（Input）、网络参数(Parameters），它们经过融合后经过神经元非线性传递函数形成网络的输出（Output）。
1650715992363735.png
图2 人工神经网络（ANN）与物理神经网络（PNN） 之间的联系
物理神经网络也是分成若干层的级联，比如若干个扬声器，每个扬声器是一层神经网络。输入信号是扬声器的输入电压；网络参数则是一组可以控制的电压信号，比如持续时间，幅值可以改变的信号，它们与输入信号通过（叠加、串联等）合并后送入扬声器，扬声器的输出声音再经过麦克风采集形成网络的输出。
1650715976284979.png
图1.3 由扬声器组成的一层神经网络结构图
在由晶体管组成的放大电路、光学倍频器（SHG）组成的系中，对于输入信号，网络参数以及它们的融合方法根据各子系统特点有所不同。
比如在下图中，网络参数实际上就是一段长度和幅值不同的直流信号，嵌入在输入变化的信号中（A），经过三极管电路之后形成输出（B），输入信号和网络参数融合部分进行展开与归一化（C）形成网络输出信号。
1650715960595847.png
图3 在三极管电路中输入信号网络参数信号（幅值可控一段直流电平）的串联，以及对应的电路输出信号
尽管现在对于网络如何进行训练，如何进行工作的细节还有待进一步的了解，但文章所展示关于深度神经网络算法的本质令人耳目一新。利用了系统输入输出之间的非线性把输入信号与网络信号进行融合完成信息的处理，所以文章所举例的三个系统（扬声器、三极管电路、二次倍频光学系统）都应该不是线性时不变系统。 |
楼主
标题置顶
标题高亮
