均匀分布拓展
拒绝采样
此处的拒绝采样其实和 AIMA 的拒绝采样一样，用于计算条件概率，对于每次采样如果符合证据就采样不符合则拒绝样本。
逆变换采样
逆变换采样（Inverse Transform Sampling）是伪随机数采样的一种基本方法。在已知任意概率分布的累积分布函数$CDF$时，可用其生成该概率分布的随机样本。
简单来说，假设$X$为一个连续随机变量，其概率密度函数为$PDF(X)$，累计分布函……继续阅读 »
yanzexi
1年前 (2023-09-20) 256浏览 0评论
1个赞
魏尔施特拉斯逼近定理
魏尔施特拉斯逼近定理
证明推导
证明归纳
$k$阶矩法
说明
……继续阅读 »
yanzexi
1年前 (2023-09-19) 258浏览 0评论
1个赞
切比雪夫不等式的简单应用
无偏估计量（矩估计）
记$X_1,X_2,…,X_n$为从具有参数$\mathbb{E}\left[ X \right] =\mu ,Var\left[ X \right] =\sigma ^2$的随机变量$X$中进行$n$次抽样得到的序列。
易得：
$$
\bar{X}=\frac{1}{n}\cdot \sum_{i=1}^n{X_i}
$$
进而有：
$$
\mathbb……继续阅读 »
yanzexi
1年前 (2023-09-18) 235浏览 0评论
0个赞
马尔可夫不等式
证明：基于指示器
对于任意非负随机变量$X$，对于任意的$a>0$恒有：
$$
Pr\left( X\ge a \right) \le \frac{\mathbb{E}\left( X \right)}{a}
$$
$Proof$：令$I=I\left( X\ge a \right) $，易知：
$$
I\le \lfloor \frac{X}{a} \rfloor \le \frac{X}……继续阅读 »
yanzexi
1年前 (2023-09-14) 252浏览 1评论
0个赞
全期望公式
公式
条件期望公式：
$$
\mathbb{E}\left[ X|A \right] =\sum_x{x\cdot Pr\left( X=x|A \right)}
$$
全期望公式：
$$
\mathbb{E}\left[ X \right] =\sum_{i=1}^n{\mathbb{E}\left[ X|B_i \right] \cdot Pr\left( B_i \right)}
$$
证明：
$……继续阅读 »
yanzexi
1年前 (2023-09-13) 592浏览 0评论
0个赞
期望的线性基础
负二项分布的期望
模式匹配
优惠券收集
非负随机变量的期望非负性
$Proof1$：
$$
\mathbb{E}\left[ X \right] =\sum_{x\ge 0}{x\cdot Pr\left( X=x \right) =\sum_{x\ge 0}{\sum_{k=0}^{x-1}{Pr\left( X=x \right)}=\sum_{k\ge 0}{Pr\left……继续阅读 »
yanzexi
1年前 (2023-09-10) 223浏览 0评论
0个赞
不常见分布
负二项分布
负二项分布实际上就是几何分布的“多重成功”推广，$X$被定义为$r$次伯努利试验成功前，失败的次数。$X$在${0,1,2,…}$内取值，故易得：
$$
p_X\left( k \right) =Pr\left( X=k \right) =C_{k+r-1}^{k}\cdot \left( 1-p \right) ^k\cdot p^r
$$
$$
=\left( -1 \ri……继续阅读 »
yanzexi
1年前 (2023-09-08) 222浏览 0评论
0个赞
相关概念
受限的独立性
相互独立的事件序列一定是两两独立的，反之不一定：
乘积概率空间
Error Reduction (one-sided case)
基本概念
定义一个决定性问题：
$$
f:\left\{ 0,1 \right\} ^*=\left\{ 0,1 \right\}
$$
有一个具有单边错误的蒙特卡洛随机算法$\mathscr{A}$，算法满足：
$\forall x\in \lef……继续阅读 »
yanzexi
1年前 (2023-09-07) 231浏览 0评论
0个赞
全概率公式
证明
$Proof$：1、令互不相交事件序列$B_1,B_2,…B_n$构成样本空间，且对于任意$i$都有$Pr(i) \ge 0$；
2、则事件序列$A\cap B_1,\cap B_2,…A\cap B_n$亦不相交，且$A=\bigcup_{i=1}^n{A\cap B_i}$；
3、故$Pr\left( A \right) =\sum_{i=1}^n{Pr\left( ……继续阅读 »
yanzexi
1年前 (2023-09-06) 239浏览 0评论
0个赞
条件概率
引入
条件概率就是在给定部分信息的基础上对试验结果的推断，其通常被定义为事件$A$在事件$B$发生的条件下发生的概率为：
$$
Pr\left( A\mid B \right) =\frac{Pr\left( A\cap B \right)}{Pr\left( B \right)}
$$
再谈有偏的硬币
约翰·冯·诺伊曼（1951）：“假设有一枚硬币，投掷其得到人头面的概率是未知的。如何用这枚硬币来……继续阅读 »
yanzexi
1年前 (2023-09-05) 196浏览 0评论
1个赞
