$$ \def\argmax{\operatorname*{argmax}} \def\argmin{\operatorname*{argmin}} \def\as{\textrm{a.s.}} \def\Ber{\text{Ber}} \def\Betad#1{\text{Beta}\left(#1\right)} \def\Binom{\text{Binom}} \def\Geom{\text{Geom}} \def\Unif{\text{Unif}} \def\E#1{\mathbb{E}\left[#1\right]} \def\iid{\stackrel{iid}{\sim}} \def\is{\coloneqq} \def\Gauk#1#2{\mathcal{N}_{#1}\left(#2\right)} \def\Gaus#1{\Gauk{}{#1}} \def\indicator#1{\mathbb{1}\{#1\}} \def\tp{\intercal} \def\p{\vec{p}} \def\P{\mathbb{P}} \def\Poiss{\text{Poiss}} \def\R{\mathbb{R}} \def\X{\vec{X}} \def\Y{\vec{Y}} \def\XX{\mathbb{X}} \def\V#1{\mathbb{V}\left(#1\right)} \def\Cov#1{\V{#1}} \def\N{\mathbb{Z}_+} \def\TV{\textrm{TV}} \def\KL{\textrm{KL}} \def\vec#1{\boldsymbol{#1}} \def\toapd{\xrightarrow[n\to\infty]{\as/\P/(d)}} \def\toprob{\xrightarrow[n\to\infty]{\P}} \def\tosure{\xrightarrow[n\to\infty]{\as}} \def\todist{\xrightarrow[n\to\infty]{(d)}} $$

7 Bayesian

7.1 Phương pháp

Định nghĩa 7.1 (Bayesian method) Với dữ liệu $X_1,\ldots,X_n,$ ta ước lượng tham số $\theta$ cho mô hình xác suất qua các bước:

Gán xác suất tiên nghiệm (prior) $\pi(\theta)$ cho tham số $\theta\in\Theta.$
Chọn xác suất $f(X|\theta)$ phụ thuộc vào $\theta,$ gọi MLE (ĐN 5.5) là $L_n$
Tính xác suất hậu nghiệm (posterior) theo Bayes ĐL 1.3:

\[ \begin{split} \pi(\theta|X_1,\ldots,X_n) &\propto L_n(X_1,\ldots,X_n|\theta) \pi(\theta), \quad\theta\in\Theta . \end{split} \]

7.2 Loại prior

Định nghĩa 7.2 (Conjugate prior) Nếu xác suất tiền nghiệm và xác suất hậu nghiệm thuộc cùng một hệ xác suất, ta nói xác suất tiền nghiệm là liên hợp đối với mô hình.

Ví dụ 7.1 Beta là xác suất tiền nghiệm liên hợp đối với mô hình Bernoulli $\Ber$, nhị thức $\Binom$ và hình học $\Geom.$

Định nghĩa 7.3 (Non informative prior) Nếu ta không có thông tin tiền nghiệm gì về tham số $\theta\in\Theta=[a, b]$ thì có thể dùng phân phối đồng đều $\Unif[a,b]$ làm xác suất tiền nghiệm.

Định nghĩa 7.4 (Improper prior) Nếu hàm $\pi:\Theta\to[0,+\infty)$ là đo được (measurable) nhưng không khả tích toàn phần trên $\Theta$ thì ta nói $\pi$ là improper prior.

7.3 Jeffreys prior

Định nghĩa 7.5 (Jeffreys prior) Với mô hình thống kê dựa trên tham số $\theta$ cho $X$ có thông tin Fisher (ĐN 5.6) là $I(\theta)$ thì Jeffreys prior \[\pi_J(\theta)\propto\sqrt{\det I(\theta)}, \] là non informative.

Ví dụ 7.2

Thí nghiệm $\Ber(p), p\in(0,1)$ có \[\pi_J(p)\propto\frac{1}{\sqrt{p(1-p)}}\propto \Betad{\frac{1}{2}, \frac{1}{2}} .\]
Thí nghiệm $\Gaus{\mu, \sigma^2}, (\mu,\sigma^2)\in\R\times\R_+$ có $\pi_J(\mu,\sigma^2)\propto \sigma^{-3}$ là improper prior.

Định lý 7.1 (Jeffreys prior là invariant khi đổi tham số) Nếu đổi tham số $\theta\mapsto\eta = \phi(\theta)$ (ĐL 1.2) thì mật độ của tham số mới $\eta$ là \[ \tilde{\pi}(\eta) = \frac{\pi(\phi^{-1}(\eta))}{\phi^{\prime}(\phi^{-1}(\eta))} \propto \sqrt{\det\tilde{I}(\eta)} \] với $\tilde{I}(\eta)$ là thông tin Fisher của mô hình dựa trên tham số $\eta$ thay vì $\theta.$

Remark. Phân phối tích lũy \[ F_{\tilde{\pi}}(\eta) \equiv F_{\pi}(\phi^{-1}(\eta)) .\]

7.4 Bayesian estimation

Định nghĩa 7.6 (Posterior mean) Từ tiền nghiệm $\pi(\theta),$ sau khi tính hậu nghiệm $\pi(\theta|X_1,\ldots,X_n)$ ta ước lượng $\theta$ bằng trung bình: \[ \hat{\theta}^{(\pi)} \is \int_\Theta {\theta \pi(\theta | X_1,\ldots,X_n) d\theta} .\]

Định nghĩa 7.7 (MAP, maximum a posteriori) Chọn cực đại \[ \hat{\theta}^\textrm{MAP} \is \argmax_{\theta\in\Theta}{\pi(\theta | X_1,\ldots,X_n)} .\]

Định lý 7.2 (Asymptotic properties of the Bayes estimator) Thông thưởng, tính hội tụ về chuẩn (ĐN 3.4) của Bayes estimator không phụ thuộc vào chọn lựa xác suất tiền nghiệm.

Remark. Tính phương sai của hội tụ tương tự như MLE (ĐL 5.2).