Differences
This shows you the differences between two versions of the page.
Both sides previous revision Previous revision Next revision | Previous revision Next revisionBoth sides next revision | ||
수학:확률 [2017/01/17 14:56] – [상호독립과 짝독립] minjae | 수학:확률 [2017/07/11 16:13] – external edit 127.0.0.1 | ||
---|---|---|---|
Line 12: | Line 12: | ||
*데이터를 수집하면서 베이즈의 정리를 따라 매개변수에 대한 우리의 믿음을 고쳐나간다. 이를 통해 사후(posterior) 확률을 얻는다. | *데이터를 수집하면서 베이즈의 정리를 따라 매개변수에 대한 우리의 믿음을 고쳐나간다. 이를 통해 사후(posterior) 확률을 얻는다. | ||
- | ======베이즈의 정리====== | + | ======확률론의 반례들====== |
- | 조건부 확률의 정의로부터 | + | |
- | $$ P(B|A) = \frac{P(A \cap B)}{P(A)}= \frac{P(A \cap B)}{P(A \cap B) + P(A \cap \overline{B})} = \frac{P(A|B)P(B)}{P(A|B)P(B) + P(A|\overline{B})P(\overline{B})}. $$ | + | |
- | 이 식은 $P(A|B)$와 $P(B|A)$를 연결지어준다. | + | |
- | 분모에 등장하는 것처럼 가능한 $B$의 사건에 대해 더함으로써 얻어지는 확률은 주변(marginal) 확률이라고도 불린다: | + | =====상호독립과 짝독립===== |
- | $$P(A) = P(A \cap B) + P(A \cap \overline{B}).$$ | + | $\mathpb{P}(A_{i_{1}} A_{i_{2}}\cdots A_{i_{k}})=\mathpb{P}(A_{i_{1}})\mathpb{P}(A_{i_{2}})\cdots\mathpb{P}(A_{i{k}})$가 $k=2,\ldots,n$인 모든 $k$와, $1\leq i_{1}< |
- | ======베이즈의 정리를 이용한 추론====== | + | $A_{1},\ldots,A_{n}\in \mathcal{F}$는 상호독립이라 한다. $k=n=2$인 경우에는 짝독립이라 한다. |
- | =====첫 번째 예===== | + | |
- | 5개의 공이 담긴 항아리가 있다. 공의 일부는 빨간색, 나머지는 녹색이지만 몇 개가 빨간색인지는 | + | |
- | 무작위로 공을 하나 골라내자. 확률 변수 $Y$는 빨간 공이 나오면 1이고 아니면 0이다. 그러면 조건부 확률은 $P(Y=1|X=x_i) = i/5$이고 $P(Y=0|X=x_i) = (5-i)/ | + | 상호독립과 짝독립의 관계를 보기 |
- | ^ | + | 겉보기에 차이가 없는 |
- | | 0 | | + | |
- | | 1 | 1/6 | 1/5 | 1/30 | 1/15 | | + | |
- | | | + | |
- | | | + | |
- | | 4 | | + | |
- | | 5 | 1/6 | 5/5 | 5/30 | 5/15 | | + | |
- | | 합 | | | + | |
- | 공을 하나 더 뽑아보자 (빼낸 공을 다시 집어넣지 않는다). 이번에는 녹색 공이 나왔다고 해보자. 앞에서의 사후 확률이 이번에는 사전 확률이 되고 여기에서 갱신되는 확률 분포가 아래 표에 있다. | + | $A_{i}=$ $\{$ $i$번째 공에 $1$이 적혀있는 경우 $\}, i=1,2,3$ |
- | + | ||
- | ^ $x_i$ ^ 사전 확률 | + | |
- | | 0 | 0 | ?? | 0 | 0 | | + | |
- | | 1 | 1/15 | 4/4 | 1/15 | 1/5 | | + | |
- | | 2 | 2/15 | 3/4 | 1/10 | 3/10 | | + | |
- | | 3 | 3/15 | 2/4 | 1/10 | 3/10 | | + | |
- | | 4 | 4/15 | 1/4 | 1/15 | 1/5 | | + | |
- | | 5 | 5/15 | 0/4 | 0 | 0 | | + | |
- | | 합 | | | + | |
- | + | ||
- | 이렇게 한 번씩 사후 확률을 갱신하는 방법도 있고 두 번의 관찰을 동시에 고려해서 사후 확률을 만드는 방법도 있을 것이다. 이 둘은 정확히 같은 결과를 준다. | + | |
- | + | ||
- | + | ||
- | =====두 번째 예===== | + | |
- | 큰 모집단에서 $p$라는 비율이 어떤 특징을 가지고 있고 나머지는 가지고 있지 않다고 하자. $n$ 번을 독립적으로 시도해서 그 특징을 가진 사람 $y$ 명을 뽑을 확률은 이항 분포로 주어질 것이다: | + | |
- | $$f(y|p) = \binom{n}{y} p^y (1-p)^{n-y}.$$ | + | |
- | $y$를 고정한 상태에서 $p$가 변화한다고 생각하면 위의 식이 가능도가 된다. | + | |
- | + | ||
- | 베이즈의 정리를 사용하려면 $p$의 값에 대한 우리의 믿음을 반영하는 사전 확률 $g(p)$가 있어야 한다. 사후 확률은 사전 확률이 가능도를 곱해서 얻어진다: | + | |
- | + | ||
- | 사전 확률로 베타 함수를 사용한다고 해보자: | + | |
- | $$g(\pi; a,b) = \frac{\Gamma(a+b)}{\Gamma(a) \Gamma(b)} p^{a-1} (1-p)^{b-1}.$$ | + | |
- | 이 경우 사후 확률, 즉 해당 특성을 지닌 $y$명을 관찰한 상황에서 $p$의 확률 밀도 분포는 다시 베타 함수 꼴로 주어진다: | + | |
- | $$g(\pi |y) = \frac{\Gamma(n+a+b)}{\Gamma(y+a) \Gamma(n-y+b)} p^{a+y-1} (1-p)^{b+n-y-1}.$$ | + | |
- | + | ||
- | 참고로 베타 함수 $B(a,b)$의 평균은 $\mu = \frac{a}{a+b}$이고 표준편차는 $\sigma = \sqrt{\frac{ab}{(a+b)^2 (a+b+1)}}$이다. 이항분포의 경우와 비교해보면, | + | |
- | + | ||
- | 마을에 도박장이 들어서는 데 찬성하는 주민들의 비율 $p$에 대해, 영희와 철수가 각기 믿는 바가 있다고 하자. 영희의 믿음은 평균이 0.2이고 표준편차는 0.08이리라는 것이다. 이 $\mu$와 $\sigma$에 대한 식을 풀어 $a$와 $b$를 구하면 그녀의 믿음을 기술하는 베타 함수 $B(a,b)$를 정할 수 있는데, $a = 4.8$, $b=19.2$이다. | + | |
- | + | ||
- | 다른 한편, 철수는 최근에 이사를 와서 마을 사정을 잘 모르고, 따라서 어떤 $p$도 선호하지 않는 균일한 사전 확률 분포를 택했다. 이는 $a=b=1$에 해당한다. | + | |
- | + | ||
- | 그들은 50명의 주민을 골라서 도박장에 대한 의견을 물었다. 그랬더니 $y=12$ 명이 찬성의 뜻을 밝혔다. 그 결과 영희의 사후 확률은 $B(4.8+12, 19.2+38)$이 되었고 철수의 사후 확률은 $B(1+12, 1+38)$이 되었다. 아래 그림에서 보듯, 비록 철수와 영희의 처음 믿음은 사뭇 달랐지만 그들이 도달한 결론은 메우 비슷하다. | + | |
- | + | ||
- | {{: | + | |
- | + | ||
- | ======독립사건====== | + | |
- | $(\Omega, \mathcal{F}, | + | |
- | 좀 더 일반적으로 사건의 모임 $\mathcal{A}_{1}$과 $\mathcal{A}_{2}$이 $\mathcal{A}_{1}$, | + | |
- | =====상호독립과 짝독립===== | + | |
- | $\mathpb{P}(A_{i_{1}} A_{i_{2}}\cdots A_{i_{k}})=\mathpb{P}(A_{i_{1}})\mathpb{P}(A_{i_{2}})\cdots\mathpb{P}(A_{i{k}})$가 $k=2, | + | |
- | $A_{1}, | + | |
- | ====상호독립과 짝독립의 관계==== | + | |
- | 다음과 같은 상황을 생각하자. \\ | + | |
- | 겉보기에 차이가 없는 $16$개의 바구니가 앞에 놓여 있다. 바구니 안에는 $1$ 또는 $0$이 적힌 쪽지 하나씩이 들어 있는 공 $3$개가 각각 $1, | + | |
- | + | ||
- | $A_{i}=$ $\{$ $i$번째 공에 $'1'$이 적혀있는 경우 $\}, i=1,2,3$ | + | |
그렇다면 | 그렇다면 | ||
Line 92: | Line 34: | ||
이 되어 $A_{1}, | 이 되어 $A_{1}, | ||
- | 하지만 $P(A_{1}A_{2}A_{3})=\frac{3}{16}\neq\frac{1}{8}=P(A_{1})P(A_{2})P(A_{3})$인 사실로부터 상호독립은 아니라는 것을 알 수 있다. | + | 하지만 $P(A_{1}A_{2}A_{3})=\frac{3}{16}\neq\frac{1}{8}=P(A_{1})P(A_{2})P(A_{3})$인 사실로부터 상호독립은 아니라는 것을 알 수 있다. |
+ | |||
+ | |||
======함께 보기====== | ======함께 보기====== | ||
+ | [[수학: | ||
+ | |||
[[수학: | [[수학: | ||
Line 99: | Line 46: | ||
======참고문헌====== | ======참고문헌====== | ||
* W. M. Bolstad, Introduction to Bayesian statistics (Wiley, Hoboken, NJ, 2007). | * W. M. Bolstad, Introduction to Bayesian statistics (Wiley, Hoboken, NJ, 2007). | ||
+ | * J. M. Stoyanov, Counterexamples in Probability, |