켤레사전분포 Conjugate Prior

통계학/베이지안|2018.11.04 10:03


사전분포와 사후분포가 동일한 분포족에 속하면 사전분포를 켤레사전분포Conjugate Prior라고 한다.


베이지안이란 본래 사전분포가 어떻게 되든 업데이트를 통해 모수를 찾아가는 것이긴 하지만, 모형에 대해 어느정도 아는 바가 있다면 적절한 사전분포를 사용함으로써 수학적 계산을 간단하게 하고 결과를 이해하기 쉽게 할 수 있다.


(1) $\text{Bin} (n , \theta) $ 의 켤레사전분포는 $\theta \sim \text{Beta} (\alpha, \beta)$

(2) $\text{Poi} ( \theta) $ 의 켤레사전분포는 $\theta \sim \text{Gamma} (a, b)$

(3) 모분산 $\sigma^2$ 를 알 때, $N ( \mu , \sigma^2 )$ 의 켤레사전분포는 $\mu \sim N ( \mu_{0} , \tau_{0}^2 )$

(4) 모평균 $\mu$ 를 알 때, $N ( \mu , \sigma^2 )$ 의 켤레사전분포는 $\displaystyle \tau = {{1} \over {\sigma^2 }}$ 에 대해 $\tau \sim \text{Gamma} (a, b)$

(5) $\lambda$ 를 알 때, $\text{Gamma} (a, \lambda)$ 의 켤레사전분포는 $\lambda  \sim \text{Gamma} (a, b)$



예로써 이항자료에 대한 모형 $p ( y | \theta ) = \pmatrix{ n \\ y } \theta^{y} (1-\theta)^{n-y} $ 을 생각해보자.

이에 대한 켤레사전분포 $\theta \sim \text{Beta} (\alpha, \beta)$ 를 생각해보면, $\pi (\theta) \propto \theta^{\alpha - 1} ( 1 - \theta )^{\beta -1 }$

그러면 $\theta $ 의 사후분포는 $p ( \theta | y ) \propto \theta^{y + \alpha -1 } (1-\theta)^{n-y + \beta -1} $ 인데, 이는 곧 베타분포 $ \theta \sim \text{Beta} (y + \alpha, n - y + \beta) $ 를 의미한다.


따라서 $\theta$ 의 사후평균은 $\displaystyle E ( \theta | y) = {{y + \alpha} \over {n + \alpha + \beta}}$ 인데, 이는 표본평균 $\displaystyle {{y} \over {n}}$ 과 사전평균 $\displaystyle {{\alpha } \over {\alpha + \beta}}$ 의 가중평균인

$\displaystyle E ( \theta | y) = {{n} \over {n + \alpha + \beta}} {{y} \over {n}} + {{\alpha + \beta } \over {n + \alpha + \beta}} {{\alpha} \over {\alpha + \beta}}$ 의 꼴로도 볼 수 있다.

따라서 표본 $n$ 이 커지면 커질수록 사전평균의 영향력은 줄어들고, 프리퀀티스트 추론과 가까워짐을 짐작할 수 있다.



위의 논의를 켤레사전분포라는 개념에 집중해서 다시 보자면, 사전분포를 베타분포로 썼니까 사후분포도 베타분포로 나타났기 때문에 순차적분석이 매우 용이한 것을 확인할 수 있었다. 이항분포의 pmf와 베타분포의 pdf가 비슷하게 생겼기 때문에 수식적으로도 어려운 부분이 크게 없고 술술 잘 넘어간 것이다.