Probability Theory Review

这是一篇概率论期末复习的小笔记. 课程资料取自 > NJU-Probability-Theory-2024-Spring By 尹一通/刘景铖

本学期概率论学习大纲如下：

Chapter 1：概率空间

概率空间定义

样本空间

样本空间一般用表示，事件(Event)是一个子集 ，其中

一族事件(Events)：

而对于，称为样本(Sample)或者基本事件(Elementary event)

离散概率质量函数(pmf)

事件 的概率为

代数

概率空间

令是一个代数 概率测度(或概率律)为函数： 满足 - (normalized) - (-additive) 对于不相容(disjoint)的事件: 那么这样一个三元组即为概率空间.

Union Bound

亦称为 Boole's inequality:对于事件:

概率公理(Probability Axioms)

Probability Axioms

概率法(Probability Method)

容斥原理(Inclusion-Exclusion Principle)

inclusion-exclusion

Null & Almost Surely Event

Null & Almost Surely Event

离散条件概率(Discrete Conditional Probability)

给定事件发生的条件下，事件发生的概率为：

注意： 是一个良定义的概率测度. - 样本空间是 - 是一个代数 - 满足概率公理

Law for Conditional Probability

Law for Conditional Probability

独立性(Independence)

事件和是独立的，当且仅当： 推论： - 若: -

Mutually Independent

Mutually Independent

Pairwise Independent

Pairwise Independent

Conditional Independence

Conditional Independence

Chapter 2：随机变量(Random Variables)

随机变量

给定概率空间，随机变量是一个函数：

满足(i.e. X是一个可测函数)

对于离散随机变量，其函数定义为：

分布(Distribution)

累积分布函数(CDF,i.e. cumulative distribution function)

Redefine: 离散随机变量 pmf & CDF

连续随机变量 pdf & CDF

对于连续型随机变量，其概率密度函数(pdf,i.e. probability density function) 与 CDF 满足：

Redefine: 离散随机变量独立性

DV-independence

随机向量(Random Vectors)

给定概率空间 随机向量

那么联合分布函数(Joint CDF)为：

对于离散的情况，联合概率质量函数(Joint pmf)为：

对于离散的的边缘质量函数(Marginal pmf)为：

For example:

重要分布模型

二项分布(Binomial Distribution)

期望值： 方差：

几何分布(Geometric Distribution)

期望值：

用指示性随机变量证明：

方差：

VofGeometricproof

无记忆性：

负二项分布(Negative Binomial Distribution)

定义为第次成功发生时伯努利实验失败的次数，那么： 值得注意的是负二项分布可以写为一系列几何分布之和： 因此利用期望的线性性质，有：

• 方差：

超几何分布(Hypergeometric Distribution)

定义为无放回(Without Replacement)抓取 n 次，其中有 k 次成功的次数，那么：

期望值：

多项式分布(Multinomial Distribution)

定义为 次独立的多项式试验，其中第 个结果出现 次的次数，那么：

泊松分布(Poisson Distribution)

期望值： 方差：

泊松分布的性质：

• 泊松分布之和仍然是泊松分布 > ，那么

• 泊松分布的近似 令为多项式分布，给定参数， 即 n 个小球放入 m 个盒子，每个盒子的概率为 .

令为泊松分布，给定参数， 并且给定 那么此时， 与 同分布.

独立随机变量之和

若和是独立的随机变量，那么的分布为：

重要模型

• Balls into bins(Random mapping)
• Random Graph(Erdos-Renyi Random graph model)
• Random Tree(Galton–Watson branching process)

期望(Expectation)

• 对于离散型随机变量：

• 对于连续型随机变量：

• 指示型随机变量的期望：

• LOTUS(Law of the Unconscious Statistician)

• 期望的线性性质：

• 随机变量乘机的期望性质：

• 期望的计算方法(Double Counting):

• Limitation of Expectation:

条件期望(Conditional Expectation)

条件分布(Conditional Distribution)

其 pmf 为：

全期望公式(Law of Total Expectation)

Jensen's Inequality

JensenInequality

期望的单调性(Monotonicity of Expectation)

MonotonicityofE

期望: Averaging Principle

• and if then
• and if then

根据概率法，有：

Chapter 3：偏差(Deviation)

马尔可夫不等式(Markov's Inequality)

令 取非负值，那么对于任意 :

proof by total expectation:

• Lower tail Markov's Inequality: 其中 有 bounded range .

• 更一般的形式:

蒙特卡洛算法 versus 拉斯维加斯算法

• 蒙特卡洛算法：给定一个算法，其输出的结果是随机的，但是其期望值是正确的.
• 拉斯维加斯算法：给定一个算法，其输出的结果是确定的，但是其运行时间是随机的.

矩(Moments)

• k 阶矩(Moment of order k):
• k 阶中心矩(Central Moment of order k):

切比雪夫不等式(Chebyshev's Inequality)

令 为一个随机变量，那么对于任意 :

proof by Markov's Inequality: 令 ，那么：

• 标准差形式:

随机变量的中位数(Median)

• 对于随机变量 ，其中位数定义为：

方差(Variance)

方差性质：

对于两两独立(pairwise independent)随机变量 :

指示性随机变量的方差

协方差(Covariance)

协方差性质： - Symmetric: - Distributive: - "Linear":

若 和 独立，那么 ，反之不成立.

proof:

相关性(Correlation)

称为不相关(Uncorrelated)，当且仅当 - 若 不相关，那么有：

- 若 独立，那么 不相关，反之不成立.

高阶矩(Higher Moments)

• Skewness(偏度):
• Kurtosis(峰度):

矩生成函数(Moment Generating Function)

Chapter 4：连续分布(Continuous Distributions)

连续型随机变量(Continuous Random Variables)

• 累积分布函数(CDF)

其中 为概率密度函数(pdf)，且有：

概率密度函数从 到 的积分为 1:

CDF 是一个非减函数，且有右连续性.

** 下面的内容较复杂，多以课程 slides 为主 **

连续随机变量的联合分布

CJointDistribution

连续随机变量的边缘分布

CMarginalDistribution

独立性(Independence)

Cindependent

条件分布(Conditional Distribution)

即对于 有：

期望(Expectation)

若此连续型随机变量 非负，那么：

LOTUS(Law of the Unconscious Statistician)

C-LOTUS

下面两张 slides 较难，暂未完全理解：

Induced Probability Distribution

IPD

Inverse Tranform Sampling (逆变换采样)

InverseTranformSampling

随机支配(Stochastic Dominance)

StochasticDominance

重要的连续分布模型

均匀分布(Uniform Distribution)

指数分布(Exponential Distribution)

CDF:

• 期望值：

• 方差：

• 无记忆性(Memoryless Property):

正态分布(Normal Distribution)

标准正态分布(Standard Normal Distribution):

给出高斯积分：

• 正态分布线性变换导出的随机变量： 对于，那么： 因此，若，那么：
• 正态分布之和： 若，那么：

连续型随机变量之和(卷积)

考虑, 其 pdf 为：

正态分布的大偏差不等式

NormalLargeD

二维正态分布(Bivariate Normal Distribution)

其中，的边缘分布为 . 且有：

#### 卡方分布(Chi-Squared Distribution)

对于 的情况，其 pdf 为：

Chapter 5: 收敛与极限(Convergence and Limit)

收敛方式 (Convergence)

三者的推出关系如下：

当依分布收敛到常数时，即为依分布收敛到常数.

依概率收敛推不出 almost surely 收敛，反例如下：

a.s. 收敛的条件：

Continuous Mapping Theorem

• 若 ，且 为连续函数，那么
• 若 ，且 为连续函数，那么
• 若 ，且 为连续函数，那么

Slutsky's Theorem

若 ，且 ，那么： - - - -

大数定律(Law of Large Numbers)

• 弱大数定律(Weak Law of Large Numbers):
• 强大数定律(Strong Law of Large Numbers):

弱大数定律的证明(需要方差有界)：

棣莫弗-拉普拉斯中心极限定理(De Moivre-Laplace Central Limit Theorem)

DM-LCLT

列维中心极限定理(Lindeberg-Levy Central Limit Theorem)

特征函数(Characteristic Function)

有 Fourier 变换：

• 若 独立，那么
• 若 ，那么

特别的，标准正态分布的特征函数为：

Chapter 6: Concentration

Chernoff Bounds

即 Poisson Binomial Random Variable.

考虑其偏差的 tail bounds，即有 Chernoff Bounds: