剖析《概率论》

2万 · 2018-3-25 11:30

《概率论》广义来说涵盖了概率论基础、数理统计和随机过程。概率论基础论述了《概率论》相关的基础理论，而数理统计和随机过程则是概率论基础理论在相关两方面的具体应用和拓展。

《概率论》的实际应用非常广泛，凡涉及到“非确定性”的任何学科和工程技术《概率论》都会在相关邻域中出现，而“非确定性”几乎充斥着整个宇宙。这里需说明一点，“非确定性”不是不可描述，只是其必须进入到更高的一个层面来刻画。

本“剖析《概率论》”还是遵循其“主干脉络”原则，给出一些重要或关键知识点的梳理。由于整个《概率论》范畴涵盖面较大（含数理统计和随机过程等），其基础还涉及到一些更为基本的数学理论（譬如测度论），所以这里所谓的“主干”也仅是其最显重要且必须梳理的内容。而在应用方面，将着重论述有关噪声分析、可靠性设计和容差设计等具体理论应用。

注：应用方面的具体理论和实例分析将安排在“21学堂+”中呈现。

2万 · 2018-3-26 13:05

《概率论》部分基本概念（一）

先明确几个基本概念，这些都是入门级的概念。

一）样本及样本空间

样本就是可能发生的某个基本事件，而由所有可能发生的基本事件所组成的集合就是样本空间（Ω）。样本也可被称为样本空间内的点——样本点。

二）事件

事件是由满足一定条件规则的基本事件（样本点）所组成的集合。凡事件（集合）中有基本事件（样本点）发生，就可认为相关事件发生。显然，事件是样本空间（全集）的子集，基本事件也可被认为是个事件（其含有单一的一个样本点）。此外，样本空间和空集也是事件，前者是个必然事件，而后者则是个不可能事件。

三）频率

频率是指事件的发生次数，譬如某事件A发生了n次则称其发生频率是n。有的时候，会考虑将频率归一化，即

n/N

其中，N是总的试验次数。

显然，对于必然事件，上式等于1；而对于不可能事件，上式等于0。

到此可以看到，《概率论》研究的是样本空间内的子集，其相关运算遵循集合论中的所以法则。

2万 · 2018-3-26 13:46

本帖最后由 HWM 于 2018-3-30 11:16 编辑

《概率论》部分基本概念（二）

概率公理体系

前面涉及到了频率，原则上那是个不确定的东西。现在，将用一个公理体系来建立起概率的基本概念，具体如下：

对于上述样本空间中的符合一定条件的子集A，譬如泼雷尔（Borel）集，定义一个其到实数域上的映射P(A)，满足

1）非负性

P(A) ≥ 0

2）归一性

P(Ω) = 1

3）可列可加性

对于互不相容（不相交）事件A1,A2,...，成立

P(A1∪A2∪...) = P(A1) + P(A2) + ...

显然，空事件的概率为0，事件（A）的概率加其非事件（非A）概率等于1。

这里，已经从“频率”的不确定性，通过公理系统定义初步进入到了确定性概念——概率。

2万 · 2018-3-26 14:13

总结上面几点，可以定义一个三元组

(Ω,F,P)

其中，Ω是样本空间，F是其中满足一定条件的子集的集合（称为事件域），P是F到实数域（R）上的映射——概率。

这个三元组被称为概率空间。

关于古典概型和几何概率的相关例子和性质很多，这里就不赘述了。感兴趣的可以找些相关的书籍看看，其中有不少非常有意思的例子。

2万 · 2018-3-26 18:27

条件概率和事件独立性

一）条件概率定义

对于属于事件域F的两个事件A和B，如果已知事件B的概率非零且已经发生，那么在此前提下事件A的发生概率定义为

P(A|B) = P(A∩B)/P(B)

其中等式左边表示的就是条件概率，即事件B已发生的条件下事件A发生的概率。

二）事件独立性定义

对于属于事件域F的两个事件A和B，如果满足下式

P(A∩B) = P(A)P(B)

那么称这两个事件相互独立。

显然，对于相互独立的两个事件A和B，有下面两个关系

P(A|B) = P(A) (P(B)>0)

P(B|A) = P(B) (P(A)>0)

上式意义非常明确。

结合前面概率公理中涉及的不相容事件可加性，得到了常用的两条原理，即

1）加法原理

若某事件C可以由事件A或事件B之一实现，且事件A和事件B不相容（不相交），那么事件C的概率就是事件A的概率加事件B的概率。

2）乘法原理

若某事件C需要由事件A和事件B共同实现，且事件A和事件B独立，那么事件C的概率就是事件A的概率乘事件B的概率。

这两条原理应用非常广泛。

2万 · 2018-3-30 16:15

频率与概率（极限定理）

前面已经提到，频率是不确定的，而概率则是确定。那么如何统一这两者呢？或者说，这两者间有何关系呢？

这些问题就涉及到了《概率论》基础理论中的“极限定理”——大数定律。

由于相关内容较多且涉及到更基础的理论，这里就不具体论述，仅给出一些主要概念和大致说明。

之前已经知道有两个特殊的事件，即必然事件和不可能事件，那个“必然”和“不可能”是完全逻辑的。下面将涉及到一种新的“必然”和“不可能”，即所谓统计意义上的必然和不可能。对于实际有限试验，通常我们就用所谓的“几乎必然”和“几乎不可能”来表述。

那么，数学上如何表述统计意义上的必然和不可能呢？见下面：

对于任意给定的ε〉0，成立

lim[N→∞]P{|n/N-p|≥ε} = 0

lim[N→∞]P{|n/N-p|<ε} = 1

其中n是频率，N是试验次数，p是概率。注意之前提到过的频率归一化——n/N，可见归一化的频率在统计意义上趋于概率p。

大数定律，从理论上奠定了《概率论》的基础，其也是后续数理统计和随机过程的相关理论基础。

2万 · 2018-3-30 16:19

其实，这已经建立了一种统计意义上的极限理论。由此理论，发展出了一套新的分析方法——《随机分析》。

2万 · 2018-4-3 09:19

本帖最后由 HWM 于 2018-4-3 18:39 编辑

随机空间的“具体化”描述

前面已经给出了随机空间概念，复述之

(Ω,F,P)

其中，Ω是样本空间，F是其中满足一定条件的子集的集合（称为事件域），P是F到实数域（R）上的映射——概率。

需注意的是，这里的样本空间（Ω）以及其上的事件域（F）都没有具体的描述和规定，严格意义上还不具备分析条件。下面将对此给出最基本的“具体化”描述，先给出一个映射

ξ:Ω→Rⁿ

此映射还应满足下面的关系

{ω:ξ(ω)∈B}∈F

其中，B是波雷尔点集。

满足上述条件的映射ξ(ω)就称为随机变量，显然随机变量是n维实空间上的变量。

下面考虑一维情形（多维将在以后具体应用所需时再作适当的拓展论述）。先说明一下一维波雷尔点集。

一维波雷尔点集就是由形如下面的半开半闭区间，及其基本集合运算所得集合。

[a,b)

其中a和b是实数（可以取无穷大）。

有了随机变量（映射），就可以看看下面这个事件

{ω:ξ(ω)<x}

其中x是个实数。显然ξ(ω)∈[-∞,x)，属于波雷尔点集，意味着{ω:ξ(ω)<x}属于事件域F。

定义

F(x) = P{ω:ξ(ω)<x}

为相应的概率分布函数。显然有下面关系

P{ω:x1≤ξ(ω)<x2} = F(x2) - F(x1)

概率分布函数有如下的一些简单且重要的性质：

1) 单调性

若x1<x2，则有F(x1)≤F(x2)

2) 归一性

lim[x→∞-]F(x) = 0

lim[x→∞+]F(x) = 1

亦即

F(+∞) - F(-∞) = 1

3) 左连续性

lim[x→x1-]F(x) = F(x1)

2万 · 2018-4-3 09:48

离散样本空间及离散随机变量

如果样本空间是由离散的一系列样本（点）构成，那么此类的样本空间映射入实域R上的随机变量也仅是一系列的离散实数点。容易看到，相应的概率分布函数是个在相应离散点上存在阶跃的阶梯函数。

譬如硬币的投掷试验，设“正面”映射到１，“反面”映射到-1，那么其随机变量就是-1和1这两个离散的实数点。

若假设“正面”和“反面”几率均等，那么相应的概率分布函数就是

F(x) = 0       (x≤-1)
F(x) = 0.5    (-1<x≤1)
F(x) = 1       (1<x)

离散样本空间和离散随机变量虽然有其非常广泛的应用，相应还催生出了一系列的理论。但在此主要重点关心的是连续样本空间及其相应的连续随机变量。

2万 · 2018-4-3 10:12

概率分布函数的自然联系——积分

由上面所给的一个式子：

P{ω:x1≤ξ(ω)<x2} = F(x2) - F(x1)

自然联想到下面的关系：

∫[x1,x2]p(x)dx = F(x2) - F(x1)

上式左边是个定积分，如果存在这么个p(x)，可以使相关分析变得更直观且方便，这就是相关随机分布函数F(x)的密度函数。

这里附加说明一点，对于离散随机变量而言，其同样存在相应的密度函数，只是此时的密度函数是个广义函数。

分布函数的具体分析和应用将结合相关具体分布类型和实际应用再作具体论述。

2万 · 2018-4-5 11:15

随机变量及分布的特征参数——数字特征

引入随机变量后，随机空间(Ω,F,P)就基本具备了分析条件。首先考虑的就是提取其中的一些能表征其某些特征的参数——数字特征。

先给个一般表达式（离散分布也适用）

∫[-∞,+∞]g(x)dF(x)

其中F(x)是概率分布函数，g(x)是一个满足一定条件的函数。上式是个广义积分，在此要求其绝对可积，即

∫[-∞,+∞]|g(x)|dF(x)

存在。显然，上式表示的就是g(x)关于F(x)的平均值，求平均值无“次序”约束，故必须绝对收敛。对于连续分布（存在常规的密度函数p(x)），前式还可写成如下形式

∫[-∞,+∞]g(x)p(x)dx

下面首先考虑g(x) = x，即

Eξ = ∫[-∞,+∞]xdF(x)

其中ξ是满足分布函数F(x)的随机变量，上式表述的是随机变量ξ的一个平均值特征参数——数学期望（用Eξ表示）。“期望”意味着试验中期待出现的值，通常随机变量会出现在此值附近。

接下来考虑g(x)=(x-Eξ)^2，即

Dξ = ∫[-∞,+∞](x-Eξ)^2dF(x)

其中Eξ就是前面的数学期望，上式表述的是随机变量偏离其数学期望的一个平均值特征参数——方差。考虑到量纲和“线性”表示，通常还用根方差（标准差）√(Dξ)表述，其也表征了随机变量的某种不确定程度。

上式还可以表示成下式

Dξ = ∫[-∞,+∞]x^2dF(x) - (Eξ)^2

所以，只要知道了∫[-∞,+∞]x^2dF(x)，便知Dξ。用Eξ^2表之，则有如下表示形式

Dξ = Eξ^2 - (Eξ)^2

这就引入了“矩”，n阶原点矩定义如下

Eξ^n = ∫[-∞,+∞]x^ndF(x)

相应的，有n阶中心矩，表为

E(ξ-Eξ)^n = ∫[-∞,+∞](x-Eξ)^ndF(x)

显然，数学期望（Eξ）是一阶原点矩，而方差（Dξ）则是二阶中心矩。

除了上述“矩”外，还有混合矩（譬如协方差）。这些都是重要的数字特征，具体将在后续具体分布和实例分析中再作进一步论述。

2万 · 2018-4-5 17:04

几个经典分布

伯努利试验是个极为经典的随机试验模型，单次伯努利试验其分布就是最简单的伯努利分布（p和q，p+q=1），而多次独立试验则服从二项式分布。

二项式分布在一定的极限条件下，其分布趋于泊松分布，而泊松分布也是一个重要的分布。

正态分布的重要性可以从相关中心极限定理中看出，可以说正态分布是“上帝”造就的一种分布。

下面给出几个相关分布的数字特征。