概率论 5. 随机变量的深入内容

空间
多个随机变量的问题
- 线性函数
条件期望
随机个数的独立随机变量之和

这里介绍一些概率论的深入内容. 多个随机变量的分布问题, 独立随机变量的和还有更多随机变量之间关系的内容.

空间

在概率论中, 如果能建立起一个空间的概念, 那么理解很多东西将会事半功倍. 关于这方面的内容, 前面已经多有涉及, 这里给这个问题最后一击.

在学习了单个随机变量, 多个随机变量, 条件概率等等内容后, 我不知道别人, 但是我的脑子里已经是一团乱麻, 公式已经忘记的差不多了. 但是一旦我用空间的概念去回忆, 那么顺着自己的思路, 每一个公式, 每一部分内容几乎都可以写出来. 就算没有在概率论的层面上深入理解, 但是在因为建立起了空间感, 所以做起题目来也不是那么费劲.

关于空间, 最重要的一个是空间变换, 这个内容一旦建立起良好的直觉, 那么其他东西都会顺利的多.

进入子空间

在1. 样本空间和概率样本空间中的理解部分, 已经介绍过这部分内容, 这里做一个回顾.

进入子空间, 整体范围变小, 但是主观上会感觉观察的区域变大 – 除以子空间体积$P(子空间)$, 这样就有了条件概率公式:

$P(A|B) = \dfrac {P(AB)} {P(B)}$

结合1. 样本空间和概率样本空间中的理解, 这个过程可以理解为:我想要知道在B空间发生A的概率$P(A|B)$, 那么先在全局中定位要找的位置$P(AB | \Omega)$, 然后走进子空间$ 1/P(B)$. 最后计算的条件概率$P(A|B)$, 一定大于等于$P(AB | \Omega)$, 因为所处的空间变小了.

上图可以想象为 $P(AB)$ 进入子空间(下井) $P(B)$ 的过程.

$ \Omega$就是全局空间, 一般可以省略, 也就是说”|“后面的内容, 就是所属的空间.

举一个不太恰当的例子, 当年上学的时候, 中午吃饭经常遇到一个美女. 每次我都会目不转睛的盯着她, 差不多有半年时间吧. 突然有一天, 我发现她旁边又一个男生, 便惊讶的问旁边同学, 她什么时候有的男朋友. 同学更加惊讶的对我说, 她一直有男朋友, 而且一直这么一起走的啊. 我这个看美女的经历就是首先定位要找的目标(美女), 然后进入子空间(不包括她男朋友的她周围的空间), 在这个子空间中, 她占据了我的所有视野, 也就是变大了($P(A|B)$, 一定大于等于$P(AB | \Omega)$).

走出子空间

同样的方法, 自己把目光从美女身上挪开就可. 你会发现你的视野变大了, 美女变小了.

乘法还是除法

简单来说, 进入子空间用除法, 在全局空间用乘法.

期望与重心

将期望理解为重心, 很多问题迎刃而解.

前面已经有过介绍, 牢牢抓住重心, 还可以解决下面全期望定理的问题.

多个随机变量的问题

在前面部分已有涉及, 这里做一些更深入的讨论.

线性函数

如果Y是X的线性函数, 会发生什么呢?

我们可以把空间想象成一个弹性很好的橡胶块. 假设$Y= aX$, 那么相当于Y橡胶块相比X橡胶块拉伸了a倍. 一个方向拉伸了, 其他方向必然会缩小, 也即是Y变地相对细长了. 那么假设$Y= X + b$呢? 很简单, 这就是把X平移了b而已, 对橡胶块的形状没有影响.

好, 结合上面的拉伸和平移, 那么$Y= aX + b$如何理解呢? 就是拉伸在平移嘛!

$Y=X+b$ 的概率密度函数写为:

$f_Y(y) = \dfrac {1} {|a|} f_X(\dfrac {y-b} {a})$

为什么是原来的1/a倍呢? 因为 $f_X(x)$ 下面围成的面积是 1, $f_Y(y)$ 下面面积也是1, 那么经过拉伸 a 倍后, 高度必然下降 a 倍.

条件期望

条件期望, 可以理解为整体的部分体积块或者质量块的重心. 记住这句话, 然后讨论下面内容.

迭代期望法则

这个法则研究这个问题: $E[E[X | Y ]]$是什么?

值还是随机变量

$E[X]$是一个值. $E[X| Y = y]$是一个值. 那么$E[X| Y]$呢?

$E[X| Y = y]$随着y的取值不同而不同, 但是只要y确定, 一定是一个定值. 那么显然, $E[X| Y]$并没有固定的y值, 是一个Y的函数, 所以它是一个随机变量.

既然$E[X| Y]$是一个随机变量, 我们当然可以研究$E[E[X | Y ]]$是什么了.

全期望定理

离散:

$E[X] = \sum_Y E[X | Y = y ] p_Y(y)$

连续:

$E[Y] = \int_{-\infty} ^{\infty} E[X | Y = y ] f_Y(y)\mathrm{d}y$

看上面公式样子, 长得很像全概率公式, 用全概率公式, 也很好证明. 那么怎么理解呢? 回忆期望类比为重心, 那么各部分重心的重心, 当然就是整体的重心了, 这就是全期望定理了.

计算迭代期望

根据期望的公式, 可知:

离散:

$E[E[X | Y ]] = \sum_Y E[X | Y = y ] p_Y(y)$

连续:

$E[E[X | Y ]] = \int_{-\infty} ^{\infty} E[X | Y = y ] f_Y(y)\mathrm{d}y$

这不说明了$E[E[X|Y]] = E[X]$吗?

其实$E[E[X|Y]]$不就是各个部分的期望的期望吗?

随机个数的独立随机变量之和

这个标题可能有点拗口,直接看公式吧:

$Y = X_{1} + X_{2} + ... + X_{N}$

其中, N是一个随机变量, 也就是X的个数是一个随机变量. 同时, $X_{k}$是相同分布且相互独立的随机变量, X与N也相互独立.

通过公式证明可知:

$E[Y] = E[N]E[X]$

这个公式一般也可以猜出来, 关键就是X与N相互独立.

但是如何猜出来方差的对应公式, 我暂时不知道.