probability-statistics-note

概率统计保研笔记

大数定律和中心极限定理的意义

大数定律表明，当进行大量独立同分布随机实验时，样本均值会趋近于总体均值。常见的有切比雪夫大数定律、辛钦大数定律，伯努利大数定律

中心极限定理指出，当进行足够多的独立同分布随机实验时，无论原始分布是什么形状，样本均值的分布会趋向于正态分布。

全概率公式和贝叶斯公式

对于一组事件B1到Bn，如果满足B1到Bn的并是整个事件S且各个部分没有交集，则对任意事件A有。。。。(通用开头)

二者互为逆过程

全概率公式用于计算某事件发生的总体概率，基于不同互斥事件的条件概率与它们的发生概率加权求和。贝叶斯公式则用于更新事件的概率，通过新证据修正先前的概率估计。

先验概率和后验概率

先验概率指根据以往经验或分析可以在实验前就得到的概率

后验概率指某件事已经发生时想要计算这件事发生的原因是由某个因素引起的概率

马尔科夫链的定义、相关性质和公式

状态空间中经过一个状态到另一个状态的转化的随机过程。

该过程要求具备"无记忆"的性质:下一状态只能由当前状态决定，在时间序列中它前面的事件均与之无关，这种"无记忆性"成为马尔科夫性质。

方差、标准差、协方差、协方差矩阵的定义、协方差与方差的关系

方差用来计算每一个变量与总体均值之间的差异，标准差是方差的平方根。

协方差是衡量两个变量之间的总体误差，若两个随机变量整体变化趋势相同，则协方差是正的，否则是负的，而协方差矩阵是多维随机变量的协方差组成的矩阵。

相关系数描述两个变量相关程度的变量，用协方差除以两个变量标准差之积来衡量，相关系数小于等于1，如果等于1为线性关系

连续性随机变量的分布函数是不是处处可导

连续型随机变量的分布函数并不是处处可导的，只有密度函数连续的点，分布函数才是可导的。连续型随机变量的分布函数是绝对连续的，绝对连续的函数的不可导点是有限或无穷可数多个。

条件概率、联合概率、边缘概率的定义和区别

联合概率，用于描述多个随机变量的整体概率分布情况，就是既满足X条件又满足Y条件的概率

条件概率，联合概率分布/边缘概率分布，就是满足X条件下满足Y条件的概率

边缘概率，表示联合分布在某个随机变量下的概率分布情况，就是满足X或满足Y条件的概率

有哪些常用的概率分布

离散：两点分布，二项分布，几何分布，超几何分布，泊松分布

连续：正态分布，指数分布，均匀分布

无偏估计和有偏估计

无偏估计是指一个估计量的期望值等于被估计参数的真实值。有偏估计是指一个估计量的期望值不等于被估计参数的真实值。在实践中，有时可以通过调整估计量来消除或减少偏差。

比较两个估计量哪个更好的方式是算与参数真实值之间的方差

最小二乘法的过程

最小二乘法的过程就是最小化直线到样本点的距离的平方和，可以理解为是线性函数上的最大似然估计

不相关和独立的关系

独立一定不相关，但是不相关不一定独立。独立表示没有关系，但是不相关只是表明没有线性关系。当协方差为0时代表二者不相关，但是其联合密度函数不等于边缘密度函数的乘积

只有正态分布情况下，不相关和独立等价

白噪声是什么，有什么特点

白噪声是一个理想中的时序模型，它有一个重要的特性，即序列不相关：一个白噪声序列中的每一个点都独立的来自某个未知的分布，即它们满足独立同分布。

各概率分布使用场景

**两点分布（伯努利分布）**适用于只有两种结果的试验，如投掷硬币。

二项分布常用于描述固定次数独立试验中的成功次数，例如在多次投掷中得到正面的次数。

几何分布则用于建模首次成功所需的试验次数，比如直到第一次射箭射中的实验。

超几何分布适合在不放回抽样中使用，例如抽取不合格产品的数量。

泊松分布常用于描述在固定时间或空间内发生的独立事件数，比如0到t时间的电话呼入量。

泊松分布的关键假设是事件发生的独立性和稀疏性，即在短时间段内，发生多次事件的概率相对较低。

正态分布广泛应用于自然和社会科学，常用于描述身高、体重等自然现象。

指数分布用于建模无记忆性事件的时间间隔，无记忆性指过去发生的时间对未来影响不大，如等公交车需要的时间。

均匀分布适用于在某个范围内随机选择的情况，常用于随机数生成或测量值的分布。

独立事件

如果事件B发生的概率不影响事件A发生的概率，即P(A|B)=P(A)，则称这两个事件相互独立

概率分布函数

对于随机变量X，对于任意实数x，令F(x)=P{X<=x}则称F(x)是随机变量X的概率分布函数

对于随机变量X，对于任意实数x，有F(x)等于f(x)在0到正无穷的积分，则称f(x)是随机变量X的概率密度函数

离散的叫分布律，连续的叫分布函数

介绍一下常用的参数估计方法

常用的参数估计方法包括矩估计和极大似然估计

矩估计法就是根据大数定律来使用样本矩来估计整体矩的方法

最大似然估计就是根据已知的样本结果，反推最可能导致该结果的参数

最大似然估计基本流程是写出似然函数(概率密度函数相乘)，求对数，求导数，解似然方程