$$ \def\argmax{\operatorname*{argmax}} \def\argmin{\operatorname*{argmin}} \def\as{\textrm{a.s.}} \def\Ber{\text{Ber}} \def\Bin{\text{Bin}} \def\Unif{\text{Unif}} \def\E{\mathbb{E}} \def\iid{\stackrel{iid}{\sim}} \def\is{:=} \def\Gaus{\mathcal{N}} \def\fone#1{\mathbb{1}\{#1\}} \def\p{\vec{p}} \def\P{\mathbb{P}} \def\Poi{\text{Poi}} \def\R{\mathbb{R}} \def\V{\mathbb{V}} \def\N{\mathbb{Z}_+} \def\TV{\textrm{TV}} \def\KL{\textrm{KL}} \def\vec#1{\boldsymbol{#1}} \def\todist{\xrightarrow[n\to\infty]{(d)}} $$

2 Phân phối

Có một số phân phối xác suất thông dụng.

2.1 Phân phối Bernoulli

Định nghĩa 2.1 $X\sim\Ber(p)$ có \[ \P(X=1) = p = 1-\P(X=0) \] và $\E[X] = p, \V[X] = p(1-p)$.

2.2 Phân phối Binomial

Định nghĩa 2.2 $X\sim\Bin(n, p)$ với $n\in\N, p\in(0,1)$ mô tả tổng số lần thành công của $n$ thí nghiệm độc lập $X_1,\ldots,X_n \iid \Ber(p).$ Ta có \[ \P(X=k) = \binom{n}{k}p^{k}(1-p)^{n-k} \] và $\E[X] = np, \V[X] = np(1-p)$.

2.3 Phân phối Poisson

Định nghĩa 2.3 $X\sim\Poi(\lambda)$ thường dùng để mô tả số lần $k$ mà sự kiện phát sinh trong một giới hạn cố định, với giả định tần suất phát sinh sự kiện là $\lambda > 0$ cố định, và các sự kiện phát sinh độc lập. \[ \P(X=k) = e^{-\lambda} \frac{\lambda^k}{k!}, \,k=0,1,2,\ldots \] và $\E[X] = \V[X] = \lambda$.

Khi $n$ đủ lớn và $p$ đủ nhỏ thì $\Poi(np)$ gần với $\Bin(n,p)$.

2.4 Phân phối Geometric

Định nghĩa 2.4 $X\sim\text{Geom}(p), p \in (0,1)$ có \[ \P(X=k)=p(1-p)^{k-1}, k=1,2,\ldots \] và $\E[X]=1/p,\V[X]=(1-p)/p^2.$

2.5 Phân phối Exponential

Định nghĩa 2.5 $X\sim\text{Exp}(\lambda)$ dùng để mô tả khoảng cách $x$ giữa hai lần phát sinh của một chuỗi sự kiện kiểu Poisson (hai lần phát sinh sự kiện liên tiếp là độc lập với nhau, và tần suất phát sinh $\lambda>0$ là cố định). Có \[ f(x)={\lambda}e^{-\lambda x},x\in\R_+ \] và $\E[X]=1/\lambda,\V[X]=1/\lambda^2.$

2.6 Phân phối chuẩn

Gaussian Distribution

Định nghĩa 2.6 (Phân phối chuẩn 1 biến) $X\sim\Gaus(\mu,\sigma^2)$ có mật độ \[ f(x) = \frac{1}{\sqrt{\pi 2\sigma^2}}\exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right), x\in\R \] và $\E[X]=\mu,\V[X]=\sigma^2$.

Định lý 2.1 (Tổng của các phân phối chuẩn) Nếu $X_i \sim\Gaus(\mu_i,\sigma_i^2) (i=1,\ldots,n)$ thì

\[\sum_{i=1}^n X_i\sim\Gaus\left(\sum_{i=1}^n \mu_i,\sum_{i=1}^n \sigma_i^2\right) .\]

Định nghĩa 2.7 (Vector phân phối chuẩn) Nếu mọi tổ hợp tuyến tính các yếu tố của vector $\boldsymbol{v}$ đều thuộc phân phối chuẩn 1 biến thì $\boldsymbol{v}$ được gọi là một vector phân phối chuẩn.

2.7 Phân phối $\chi^2$

Định nghĩa 2.8 (Phân phối $\chi^2$) $X\sim\chi_k^2$ là tổng bình phương của $X_1,\ldots,X_k\iid\Gaus(0,1)$

\[ X \is \sum_{i=0}^k X_i^2 \]

và có $\E[X]=k,\V[X]=2k$.

2.8 Phân phối Student’s T

Nếu có $Z\sim\Gaus(0,1), V\sim \chi_k^2$ độc lập với nhau thì

\[ X \is \frac{Z}{\sqrt{V/k}} \]

tuân theo phân phối Student’s $t_k$.