3 Hội tụ
Có một số kiểu hội tụ của biến ngẫu nhiên.
3.1 Hội tụ xác suất
Cho một chuỗi biến ngẫu nhiên \(X_1,X_2,\ldotp\) và một biến ngẫu nhiên \(X\).
Định nghĩa 3.1 (Hội tụ gần tuyệt đối) \[ X_n \xrightarrow[n\to\infty]{\as} X \iff \P(\{\omega\in\Omega: X_n(\omega)\to X(\omega)\}) = 1. \]
Định nghĩa 3.2 (Hội tụ theo xác suất) \[ X_n \xrightarrow[n\to\infty]{\P} X \iff \P(|X_n-X| >\epsilon) \xrightarrow[n\to\infty]{} 0,\quad\forall\epsilon>0. \]
Định nghĩa 3.3 (Hội tụ theo phân phối) \[ X_n \todist X \iff \P[X_n(x)\leq x]\xrightarrow[n\to\infty]{} \P[X\leq x] \] tại mọi điểm \(x\) mà cdf của \(X\) liên tục.
Định nghĩa 3.4 (Hội tụ về chuẩn) (asymptotically normal) với phương sai \(\sigma^2\) \[ \frac{\sqrt{n}}{|\sigma|} \left({X}_n-X\right) \todist \Gaus(0,1). \]
3.2 Độ mạnh
Định lý 3.1 Xếp theo thứ tự từ mạnh đến yếu:
\[ X_n \xrightarrow[n\to\infty]{\as} X \implies X_n \xrightarrow[n\to\infty]{\P} X \implies X_n \todist X. \]
Nếu \(X_n \todist X\), và \(X\) có mật độ xác suất, thì \(X_n \xrightarrow[n\to\infty]{\P} X\).
Nếu chuỗi \(X_n\) có \(\E[X_n]\xrightarrow[]{} \mu\) và \(\V[X_n]\xrightarrow[]{} 0\) thì \(X_n\xrightarrow[]{\P} \mu\).
Nếu \(X_n\xrightarrow[n\to\infty]{\P} X\) thì \(\P(a\leq X_n\leq b) \xrightarrow[n\to\infty]{} \P(a\leq X\leq b)\) với mọi khoảng \([a,b]\).
3.3 Tổng và tích
Định lý 3.2 Nếu có hai chuỗi biến ngẫu nhiên \(X_n, Y_n\) hội tụ gần tuyệt đối hoặc hội tụ theo xác suất về \(X, Y\), thì tổng \(X_n+Y_n\) và tích \(X_n Y_n\) cũng hội tụ tương tự (gần tuyệt đối, hoặc theo xác suất) về tổng \(X+Y\) và tích \(XY\).
3.4 Slutsky
Định lý 3.3 Hơn nữa, ở ĐL 3.2 nếu \(Y_n \xrightarrow[]{\P} y\), \(y\) là một số thực cố định thì có thể nới lỏng điều kiện đối với \(X_n\) thành hội tụ theo phân phối.
3.5 Ánh xạ liên tục
Định lý 3.4 (Continuous mapping) Nếu \(X_n\xrightarrow[n\to\infty]{\as/\P/(d)} X\) thì đối với mọi hàm \(f\) liên tục:
- \(f(X_n)\xrightarrow[n\to\infty]{\as/\P/(d)} f(X)\).
- \(\E[f(X_n)]\xrightarrow[n\to\infty]{}\E[f(X)]\) nếu \(f\) còn bị chặn.
3.6 Đại đa số (Law of Large Numbers)
Định lý 3.5 Cho \(n\) biến iid \(X_1, X_2,\ldotp,X_n\) có chung \(\E[X_i]=\mu<\infty\). Khi đó: \[\bar{X}_n\is\frac{1}{n}\sum_{i=1}^n{X_i} \xrightarrow[n\to\infty]{\P,\,\as}\mu. \]
3.7 Hội tụ trung tâm (Central Limit)
Định lý 3.6 Giả sử thêm là \(\V[X_i]=\sigma^2<\infty\). Khi đó \[ \sqrt{n} \left( \frac{\bar{X}_n-\mu}{|\sigma|} \right) \todist \Gaus(0,1). \]
3.8 Bất đẳng thức Hoefding
Định lý 3.7 Nếu có một khoảng cố định \([a,b]\) gần như tuyệt đối (almost surely) chứa các biến \(X_i (i=1,2,\ldots,n)\) thì
\[ \P[|\bar{X}_n-\mu|\geq\epsilon]\leq 2e^{-\frac{2n\epsilon^2}{(b-a)^2}},\quad\forall\epsilon>0. \]
3.9 Phương pháp Delta
Định lý 3.8 (Phương pháp Delta) Giả sử chuỗi \((\theta_n)_{n\geq 1}\) chuẩn tiến (ĐN 3.4) với phương sai \(\sigma^2\) về một điểm \(\theta\in\R\). Giả sử \(g:\R\to\R\) có vi phân \(g^\prime\) liên tục, \(\neq 0\) tại \(\theta\). Khi đó, \[ \frac{\sqrt{n}}{|\sigma|} \left(\frac{g(\theta_n)-g(\theta)} {g^\prime(\theta)}\right) \todist \Gaus\left(0,1\right) \]
Định lý 3.9 (Phương pháp Delta nhiều biến) Giả sử chuỗi \((\vec{\theta}_n)_{n\geq 1}\) chuẩn tiến với phương sai \(\Sigma(\vec{\theta})\) về \(\vec{\theta}\in\R^d:\) \[ \sqrt{n}(\vec{\theta}_n-\vec{\theta}) \todist\Gaus_d(\vec{0},\Sigma). \]
Giả sử \(g:\R^d\to\R^k\) có vi phân \(\nabla g\) liên tục \((k<d)\). Khi đó, \[ \sqrt{n}\left(g(\vec{\theta}_n)-g(\vec{\theta})\right) \todist\Gaus_k \left(\vec{0}, \Gamma\right) , \]
với \(\Gamma:=\nabla g(\vec{\theta})^T \Sigma \nabla g(\vec{\theta}).\) Nếu \(\Sigma\) khả nghịch, \(\nabla g\) rank \(k\) thì \(\Gamma\) khả nghịch, \[ \sqrt{n}\Gamma^{-1/2}\left(g(\vec{\theta}_n)-g(\vec{\theta})\right) \todist\Gaus_k\left(\vec{0}, \vec{I}_k\right) , \] \[ {n}\Gamma^{-1}\left(g(\vec{\theta}_n)-g(\vec{\theta})\right)^2 \todist\chi_k^2 . \]