引入
概念
特征函数可以理解为是矩母函数的一种变换，其被定义为：
$$
\varphi _X\left( t \right) =\mathbb{E}\left[ e^{itX} \right] ,i=\sqrt{-1}
$$
可以通过傅里叶变换进行表达：
$$
\varphi _X\left( t \right) =\int{e^{itx}\ dF_X\left( x \right) =\mathbb{E}\lef……继续阅读 »
yanzexi
1年前 (2023-09-30) 215浏览 0评论
0个赞
大数定理
伯努利大数定理
当$n$趋于无穷时$n$次伯努利试验的样本均值依概率收敛于期望：
LLN
Weak LLN Assuming Bounded Variance
中心极限定理
棣莫弗－拉普拉斯定理（局部极限定理）
CLT
CLT 的收敛率
……继续阅读 »
yanzexi
1年前 (2023-09-28) 234浏览 0评论
0个赞
继续探讨收敛模式
几乎必定收敛的条件
几乎必定收敛 $VS$ 依概率收敛
延伸
耦合
Skorokhod 定理：对于一个概率空间$(X,\mathscr{F},\mu)$中的依分布收敛的随机变量列$f_n\overset{d}\rightarrow f$，总是存在另一个概率空间 $(\tilde{X},\tilde{\mathscr{F}},\tilde{\mu})$中的随机变量列$\tilde{f_……继续阅读 »
yanzexi
1年前 (2023-09-27) 227浏览 0评论
0个赞
引入
极限定理
敛散性
关于函数列逐点收敛的直观理解可以参考视频
收敛模式
这部分内容可以看看视频
引入
依分布收敛
依概率收敛
依分布收敛是依概率收敛的必要条件：
几乎必然收敛
依概率收敛是几乎处处收敛的必要条件：
相关概念引入
概率测度的连续性
详见：
$Borel–Cantelli Lemmas$
可以参考：
……继续阅读 »
yanzexi
1年前 (2023-09-26) 326浏览 0评论
1个赞
引入
正态分布
一些性质
线性变换
卷积
线性变换的卷积证明
标准正态分布
Large Deviation (Concentration) Bound
引入
矩母函数与标准正态分布的矩母函数
引入矩母函数后的再探讨
衍生分布
二元正态分布
已知二元正态分布服从$\mathscr{……继续阅读 »
yanzexi
1年前 (2023-09-22) 304浏览 0评论
0个赞
均匀分布拓展
拒绝采样
此处的拒绝采样其实和 AIMA 的拒绝采样一样，用于计算条件概率，对于每次采样如果符合证据就采样不符合则拒绝样本。
逆变换采样
逆变换采样（Inverse Transform Sampling）是伪随机数采样的一种基本方法。在已知任意概率分布的累积分布函数$CDF$时，可用其生成该概率分布的随机样本。
简单来说，假设$X$为一个连续随机变量，其概率密度函数为$PDF(X)$，累计分布函……继续阅读 »
yanzexi
1年前 (2023-09-20) 256浏览 0评论
1个赞
魏尔施特拉斯逼近定理
魏尔施特拉斯逼近定理
证明推导
证明归纳
$k$阶矩法
说明
……继续阅读 »
yanzexi
1年前 (2023-09-19) 258浏览 0评论
1个赞
切比雪夫不等式的简单应用
无偏估计量（矩估计）
记$X_1,X_2,…,X_n$为从具有参数$\mathbb{E}\left[ X \right] =\mu ,Var\left[ X \right] =\sigma ^2$的随机变量$X$中进行$n$次抽样得到的序列。
易得：
$$
\bar{X}=\frac{1}{n}\cdot \sum_{i=1}^n{X_i}
$$
进而有：
$$
\mathbb……继续阅读 »
yanzexi
1年前 (2023-09-18) 235浏览 0评论
0个赞
马尔可夫不等式
证明：基于指示器
对于任意非负随机变量$X$，对于任意的$a>0$恒有：
$$
Pr\left( X\ge a \right) \le \frac{\mathbb{E}\left( X \right)}{a}
$$
$Proof$：令$I=I\left( X\ge a \right) $，易知：
$$
I\le \lfloor \frac{X}{a} \rfloor \le \frac{X}……继续阅读 »
yanzexi
1年前 (2023-09-14) 252浏览 1评论
0个赞
全期望公式
公式
条件期望公式：
$$
\mathbb{E}\left[ X|A \right] =\sum_x{x\cdot Pr\left( X=x|A \right)}
$$
全期望公式：
$$
\mathbb{E}\left[ X \right] =\sum_{i=1}^n{\mathbb{E}\left[ X|B_i \right] \cdot Pr\left( B_i \right)}
$$
证明：
$……继续阅读 »
yanzexi
1年前 (2023-09-13) 591浏览 0评论
0个赞
