最优理论中的互相关等价性推导

登录 · 发表于 2021-4-14 18:11

一、问题的描述

下图中x1(t)、x2(t)......xn(t)为n个输入n个输入变量(示意图中只画出其中的三个），其和为x(t)，图中的N模块是非线性算子，总输入x(t)经过非线性算子处理后得到输出y(t)
现在想要用用一个线性算子N'模块----准线性逼近器，来取代非线性算子N，也就是说，我们期望两个输出y(t)和ya(t)尽可能地相等，理想情况下两者相同，这样就可以用线性模块N'来取代数学上难以处理的非线性模块N。
线性逼近器中的w1(t)、w2(t)...wn(t)为线性算子，一共有n个，图中只画出了其中三个。

登录 · 发表于 2021-4-14 18:20

本帖最后由 xukun977 于 2021-4-14 18:22 编辑

现在不加证明地直接给出结论：

如下图所示，我们任选一个输入x1(t)，对于这个输入，最优理论要求下图中的两个输入输出之间的互相关是等价的：

用数学表达式等价表示上面的文字，表示为：

公式中的一长横，表示均值或期望。

登录 · 发表于 2021-4-14 18:26

本帖最后由 xukun977 于 2021-4-14 18:38 编辑

现在来证明上面的结论。

既然可以用线性逼近器N‘等价表示非线性算子N，那么对于相同的输入，当然期望两者输出是尽可能的相同的。
换言之，我们期望两者之间的误差尽可能地小，理想情况下为零（但实际上做不到）

现在用统计的方法来处理误差函数e(t)

关于误差，最佳的选择当然是取方均值：

注：这里研究的是平稳过程，所以有时间t，但是方便起见，我们推导过程中把参数t省略了。
而且注意到表达式中，字母上的横表示期望。对于连续变量值，期望的解析定义为：

上式中的X为某个变量，f(x)为概率密度，那么概率密度是什么？它是概率分布函数的导数，两者之间的关系为：

小孩没娘，说来话长，概率论复习到此为止吧。

登录 · 发表于 2021-4-14 18:44

本帖最后由 xukun977 于 2021-4-14 18:51 编辑

既然图中的w1等是权重函数，那么根据电路理论中卷积关系式，可得输出和输入之间的关系：

ya(t)知道后，那么其方均值就容易求了：

登录 · 发表于 2021-4-14 18:54

本帖最后由 xukun977 于 2021-4-14 19:01 编辑

看不懂上面表达式的，要复习一下线性系统的基本知识点：

对于线性系统，其输入-输出关系式为：

根据这个表达式，能得到一堆统计特征：
例如期望为：

方均值为：

式子中最后一个符号是自相关函数，其定义为：

上式可根据期望的定义，写成两者之积乘以联合概率密度，然后双重积分。

登录 · 发表于 2021-4-14 21:52

一边看一些数学理论，一边看些所谓的实战书籍，两者相互结合，相互映照，相互依托，是非常好的选择。

例如电工都铁定知道的电阻热噪声，这个概念就对应于平稳过程和各态历经性概念，而且这个数学表达式就是方差：

电阻热噪声电压的截止频率，对应于光子的能量=热能kT时候，据此推导出截止频率表达式。

最优理论中的互相关等价性推导

本帖子中包含更多资源

相关帖子

本帖子中包含更多资源

评论

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源

本帖子中包含更多资源

浏览过的版块

坚毅之洋流

核心会员奖章

十世金身

技术导师奖章

浏览过的版块

坚毅之洋流

核心会员奖章

十世金身

技术导师奖章