.tex | 概率 (probability) 和似然性 (likelihood)

MountAye

Nov 21, 2023


一个随机变量 X 取值为 x 的概率 (probability)/概率密度,一般可以用一个有若干参数的函数来表示。这个函数的参数记作 \(\theta\):

\[prob_X(x)=f(x|\theta)\]

而似然性 (likelihood) 就是把上式 f 看作以 \(\theta\) 为自变量,x 为参数的函数,从表达式上看不出区别:

\[L(\theta|x)=f(x|\theta)=prob_X(x)\]

最近处理一个数据集,整理完之后的直方图如下:

double-peak

比较明显,比起一个正态分布 \(f(x)=\frac{1}{ \sigma \sqrt{2\pi} } e^{-\frac{1}{2}\left(\frac{x-\mu}{\sigma}\right)^2}\),这些数据更像是来自不同均值和方差的两个分布。那么对于每个数据点 \(x_0\),它到底来自哪个分布呢?可以分别计算 \(L_1(\mu_1,\theta_1\vert x_0) = f(x_0\vert\mu_1,\theta_1)\) 和 \(L_2(\mu_2,\theta_2\vert x_0) = f(x_0\vert\mu_2,\theta_2)\),然后比较 \(L_1\) 和 \(L_2\) 的大小。