이항 분포, 다항 분포, 베타 분포, 디리클레 분포 요약 비교

목차

우도, 사전확률, 사후확률

1. Likelihood (우도)
- 주어진 데이터가 특정한 모델 파라미터 집합 아래에서 발생할 확률을 말함
- 가정된 모델에서 관찰된 데이터가 얼마나 적합(가능)한지를 나타내는 지표
- 수학적으로는 P(X|θ)로 표기

2. Prior (사전확률 또는 사전분포)
- 데이터를 관찰하기 전, 우리가 가지고 있는 모델 파라미터에 대한 믿음이나 정보를 나타냄.
- 사전분포는 데이터 없이 모델의 파라미터에 대한 가정을 정의하며, 이를 통해 추론을 시작. 
- 주로 사전지식, 경험, 도메인 지식 등을 통해 설정됨 P(θ)

3. Posterior (사후확률 또는 사후분포)
- 데이터를 관찰한 후에 모델 파라미터의 확률 분포
- 수학적으로는 P(θ|X)로 표기

 

이항 분포, 다항 분포, 베타 분포, 디리클레 분포

 

1. 이항분포 (Binomial Distribution)

- 확률 분포 형태: 이산 확률 분포.
- 응용 분야: 동전 던지기, 시험에서의 합격 여부, 성공/실패의 두 가지 결과를 모델링할 때 사용.
- 주요 매개변수: 시행 횟수 (n), 성공 확률 (p).

 

2. 다항분포 (Multinomial Distribution)
- 확률 분포 형태: 이산 확률 분포.
- 응용 분야: 주사위 던지기, 여러 개의 카테고리 중 하나의 결과를 모델링할 때 사용.
- 주요 매개변수: 시행 횟수 (n), 각 카테고리의 선택 확률.

3. 베타분포 (Beta Distribution)
- 확률 분포 형태: 연속 확률 분포.
- 응용 분야: 0과 1 사이의 확률 모수를 모델링할 때 사용, 성공 확률 등.
- 주요 매개변수: 알파(α), 베타(β) 매개변수로 모수의 형태를 조절.

4. 디리클레분포 (Dirichlet Distribution)
- 확률 분포 형태: 연속 확률 분포.
- 응용 분야: 다항 분포의 범주 선택 확률을 모델링할 때 사용.
- 주요 매개변수: 다항 분포의 범주 수 (k), 각 카테고리의 선택 확률.

 

비교 요약

- 확률 분포 형태
  - 이항분포와 다항분포: 이산 확률 분포.
  - 베타분포와 디리클레분포: 연속 확률 분포.
  
- 적용 분야
  - 이항분포: 두 가지 결과 중 하나를 모델링 (성공/실패).
  - 다항분포: 여러 개의 범주 중 하나의 결과를 모델링 (다중 선택).
  - 베타분포: 0과 1 사이의 확률 모수를 모델링.
  - 디리클레분포: 다항 분포의 범주 선택 확률을 모델링.
  
- 매개변수
  - 이항분포: 시행 횟수 (n), 성공 확률 (p).
  - 다항분포: 시행 횟수 (n), 각 범주의 선택 확률.
  - 베타분포: 알파(α), 베타(β) 매개변수로 모수의 형태를 조절.
  - 디리클레분포: 다항 분포의 범주 수 (k), 각 범주의 선택 확률.

 

사전 켤레 분포 개념과 예시

1. 사전 켤레 분포 (Conjugate Prior Distribution)
- 사전켤레분포는 사후분포를 계산하기 쉽게 하기 위해 사용되는 분포
- 사후분포의 형태가 사전분포와 우도의 조합으로 계산 가능한 형태로 유지됨
- 사전켤레분포를 사용하면 베이지안 추론의 결과를 분석하고 예측하는 과정이 수학적으로 간소화되며, 계산이 용이해짐
- 사전켤레분포가 주로 사용되는 예시는 디리클레분포. 디리클레분포는 다항 분포의 사전분포로 사용되어, 다항 분포의 파라미터를 추론하는 과정을 간편하게 만듬. 디리클레분포를 사전분포로 사용하면, 사후분포도 디리클레분포로 업데이트되어 추론 결과를 분석하기 쉬워짐. 이와 마찬가지의 맥락으로 이항 분포와 베타 분포는 사전 켤레 분포를 이룸.

 

참고

- ChatGPT

- https://ko.wikipedia.org/wiki/디리클레_분포

- https://ko.wikipedia.org/wiki/가능도

- https://ratsgo.github.io/statistics/2017/05/28/binomial/

 

※ 이 문서는 ChatGPT의 도움으로 작성되었습니다.