확률론의 한 가지 논법으로, 무작위적 사건들에 대해 사람마다 “주관적인” 확률이 존재한다는 견해에 기초하고 있다. 비록 주관적일지라도 합리적인 사람이라면 그렇게 할당한 확률들이 아래의 표준적인 확률 규칙들을 만족해야만 한다는 것이 논점이다.
보통의 객관주의적인 해석에서는 동일한 작업을 여러 번 반복할 때의 빈도에 기초해 특정 사건의 확률을 이해한다. 그러나 경마시합처럼 동일한 조건에서 실험을 반복하는 것이 불가능한 많은 상황에서 이런 확률 개념은 어려움을 겪게 된다. 그래서 주관주의적인 확률 해석은 반복의 필요 없이 한 번의 실험에서도 가능한 결과들에 대해 사람이 가지는 믿음의 정도를 확률로 보고자 한다. 이런 주관적인 믿음들이 만일 확률 규칙을 만족하지 않는다면, 그 비일관성(incoherence)을 이용해 참여자가 언제나 손해를 보게끔 소위 “네덜란드식 마권”을 설계할 수 있다. 즉 확률은 합리적인 사람이 해야하는 논리적 추론이다.
노름에서 특정 사건이 일어났을 때 받는 돈이 $S$라 하고, 여기에 낀 노름꾼이 그 사건이 일어나리라는 쪽에 거는 돈이 $pS$라고 하자. 이 $p$가 바로 그 사건이 일어나리라고 믿는 정도를 나타낸다. $S$는 마권업자가 임의로 정할 수 있는 값으로 음수일 수도 있다(그 경우 마권업자가 $-S$ 만큼을 주고, 노름꾼이 $-pS$를 받는다고 해석한다). 노름꾼이 모든 손해를 피하기 위해서는 확률론의 규칙에 맞추어 믿음 $p$를 형성해야 한다는 것을 보일 수 있고, 또 그 역도 성립한다.
설명의 편의를 위해 사건이 $E$와 그 여집합 $\overline{E}$의 두 종류만 있다고 하자. 여러 사건들로도 일반화할 수 있다.
$E$가 일어나리라는 믿음이 $p(E)$, 그리고 $\overline{E}$가 일어나리라는 믿음이 $p(\overline{E})$라고 하자. 전자의 경우 $S_E$를 받을 것이고 후자의 경우 $S_\overline{E}$를 받게 된다. 노름꾼은 자신의 믿음을 따라 양쪽에 $p(E) S_E$와 $p(\overline{E}) S_\overline{E}$만큼의 돈을 건다. $E$가 일어났을 때 노름꾼이 가지게 되는 돈은 따라서 $$G_E = S_E - p(E) S_E - p(\overline{E}) S_\overline{E}$$ 이고 $\overline{E}$가 일어났을 때의 수익은 $$G_{\overline{E}} = S_{\overline{E}} - p(E) S_E - p(\overline{E}) S_\overline{E}$$ 이다.
마권업자는 임의로 $S_{\overline{E}}$를 0으로 놓을 수 있다. 이 경우 $$G_E = S_E - p(E) S_E = [1-p(E)] S_E$$ $$G_{\overline{E}} = - p(E) S_E$$ 이다. 두 값이 모두 0보다 크거나 같으려면 $1-p(E)$와 $p(E)$가 다른 부호를 가져야 한다. 이로부터 $0 \le p(E) \le 1$이다.
만일 $p(E) >1$을 가지게 된다면 마권업자는 판돈 $S_E$를 양수로 둘 텐데, 노름꾼은 $E$가 일어나도 돈을 잃고, $E$가 일어나지 않으면 $S_E$보다도 큰 돈을 잃게 된다. 또 $p(E)<0$이라면 마찬가지로 마권업자는 판돈 $S_E$를 음수로 둠으로써 노름꾼이 손해를 보게 만들 것이다.
$E$가 확실히 일어나고 $\overline{E}$는 확실히 일어나지 않을 것이라 노름꾼이 믿는다고 해보자. $E$가 일어났을 때 그의 수익은 위에서 쓴 것처럼 $$G_E = [1 - p(E)] S_E - p(\overline{E}) S_{\overline{E}}$$ 이다. $p(E)=1$이고 $p(\overline{E})=0$이 아니면, 마권업자는 $S_E<0$과 $S_{\overline{E}}>0$을 고름으로써 $G_E$를 임의의 음수로 만들 수 있다. 따라서 확실히 믿는다는 것은 확률 1을 할당하는 것에 해당한다.
거꾸로, 확률 1이 확실성을 의미한다는 것을 보일 수도 있을까? $p(E)=1$이라고 해보자. 그러면 $$G_E = [1 - p(E)] S_E - p(\overline{E}) S_{\overline{E}} = - p(\overline{E}) S_{\overline{E}}$$ $$G_{\overline{E}} = - p(E) S_E + [1 - p(\overline{E})] S_{\overline{E}} = S_E + [1 - p(\overline{E})] S_{\overline{E}}$$ 이니까 행렬식으로 정리하면 $$\begin{pmatrix} G_E \\ G_{\overline{E}} \end{pmatrix} =\begin{pmatrix} 0 & -p(\overline{E})\\ 1 & [1-p(\overline{E})] \end{pmatrix} \begin{pmatrix} S_E \\ S_{\overline{E}} \end{pmatrix} = P\begin{pmatrix} S_E \\ S_{\overline{E}} \end{pmatrix}$$ 이다. 위 $2\times 2$ 행렬 $P$의 행렬식이 0이 아니면 마권업자가 임의로 수익을 결정할 수 있게 된다. 따라서 행렬식이 0이 된다는 조건으로부터 $p(\overline{E}) = 0$이고 $$G_E = 0$$ $$G_{\overline{E}} = -S_{\overline{E}}$$ 를 얻는다. 노름꾼은 이를 알고 있으며, 그가 손해를 피하고자 한다는 게 사실이라면, 그는 $\overline{E}$는 일어나지 않을 거라 믿는 것이다.
상호배타적인 사건(즉 동시에 일어날 수 없는 사건) $E_1$과 $E_2$가 있다. $E = E_1 \cup E_2$는 $E_1$ 또는 $E_2$가 일어나는 사건을 의미한다. 각각에 대한 믿음을 $p(E_1)$과 $p(E_2)$, 그리고 $p(E)$라고 하자. 그리고 각각의 경우 내기에 거는 돈은 $p(E_1) S_{E_1}$과 $p(E_2) S_{E_2}$, 그리고 $p(E) S_E$가 될 것이다. 이 때 세 가지 가능한 경우가 있다:
이를 행렬로 정리해보면 $$\begin{pmatrix} G_{\overline{E}} \\ G_{E_1} \\ G_{E_2} \end{pmatrix} =\begin{pmatrix} -p(E) & -p(E_1) & -p(E_2)\\ 1-p(E) & 1-p(E_1) & -p(E_2)\\ 1-p(E) & -p(E_1) & 1-p(E_2) \end{pmatrix} \begin{pmatrix} S_E \\ S_{E_1} \\ S_{E_2} \end{pmatrix} = P\begin{pmatrix} S_E \\ S_{E_1} \\ S_{E_2} \end{pmatrix}$$ 처럼 쓸 수 있다. $3 \times 3$ 행렬 $P$의 행렬식이 0이 되지 않는다면 마권업자가 임의로 노름꾼의 결과를 설정할 수 있게 된다. 따라서 $$\det P = p(E) - p(E_1) - p(E_2) = 0$$ 이어야 하고, 따라서 $p(E) = p(E_1 \cup E_2) = p(E_1) + p(E_2)$를 얻는다.
사건 $A$와 $B$가 있다. 우리가 고려해야 할 내기들은 다음의 세 가지에 대한 것이다:
각각의 경우 대응되는 믿음의 정도를 $p(B)$와 $p(A|B)$, 그리고 $p(A\cap B)$라고 하자. 각 판돈 $S_B$와 $S_{A|B}$, 그리고 $S_{A\cap B}$에 대해 노름꾼은 $p(B) S_B$와 $p(A|B) S_{A|B}$, 그리고 $p(A\cap B) S_{A \cap B}$의 돈을 걸고 내기에 들어간다.
첫째, 만일 사건 $B$가 일어나지 않으면 $A|B$에 대해선 내기가 성립하지 않는다고 보고 $p(A|B) S_{A|B}$을 노름꾼에게 돌려준다. 이 때 노름꾼이 얻는 수익은 $$G_{\overline{B}} = -p(B) S_B - p(A\cap B) S_{A \cap B}$$ 이다.
둘째, $B$는 일어났지만 $A$가 일어나지 않았다고 해보자. 그럼 노름꾼이 가지게 되는 돈은 $$G_{\overline{A}|B} = [1-p(B)] S_B - p(A|B) S_{A|B} - p(A\cap B) S_{A \cap B}$$ 이다.
마지막으로, $A$와 $B$가 둘 다 일어난다면, $$G_{A \cap B} = [1-p(B)] S_B - [1-p(A|B)] S_{A|B} - [1-p(A\cap B)] S_{A \cap B}$$ 을 노름꾼이 가지게 된다.
이를 행렬로 정리해보면, $$\begin{pmatrix} G_{\overline{B}}\\ G_{\overline{A}|B}\\ G_{A \cap B} \end{pmatrix} = \begin{pmatrix} -p(B) & 0 & -p(A\cap B)\\ [1-p(B)] & -p(A|B) & -p(A\cap B)\\ [1-p(B)] & [1-p(A|B)] & [1-p(A\cap B)] \end{pmatrix} \begin{pmatrix} S_B\\ S_{A|B}\\ S_{A\cap B} \end{pmatrix} = P\begin{pmatrix} S_B\\ S_{A|B}\\ S_{A\cap B} \end{pmatrix}$$ 이 된다. 가운데의 $3\times 3$ 행렬 $P$의 행렬식이 0이 아니라면 마권업자가 노름꾼이 얻는 결과를 좌지우지하게 된다. 따라서 행렬식이 0이 되는 조건을 적어보면 $$0 = \det P = -p(A|B) p(B) + p(A\cap B)$$ 이 되고 따라서 베이즈의 정리를 얻는다.
사건 $E$와 $\overline{E}$가 상호배타적인 사건이고 이것 아니면 저것임이 확실하므로 $$1 = P(E \cup \overline{E}) = P(E) + P(\overline{E})$$ 이다.
상호배타적인 사건의 확률들을 더할 수 있다는 세 번째 규칙 대신 정규화 조건을 넣을 수도 있다. 이를 보기 위해 상호배타적인 사건인 $E_1$과 $E_2$를 고려하고 $E = E_1 \cup E_2$라고 하자. $E_1$과 $E_2$가 모든 가능성을 포괄하므로 정규화 조건에 의해 $$p(E_1 |E) + p(E_2 |E) = 1$$ 이다. 나아가, $E_1$ 또는 $E_2$가 일어났다면 $E$ 역시 당연히 일어난 것이므로 $$p(E|E_1) = p(E|E_2) = 1$$ 이다. 베이즈의 정리에 의하면 $$p(E_1|E) p(E) = p(E|E_1) p(E_1) = p(E_1)$$ $$p(E_2|E) p(E) = p(E|E_2) p(E_1) = p(E_2)$$ 이고 두 식을 더하면 $$p(E) = p(E_1) + p(E_2)$$ 로서 아까의 세 번째 규칙을 유도할 수 있다.
두 사건 $E$와 $\overline{E}$를 생각하면, 각각의 경우 노름꾼이 가지는 돈의 액수는 다음의 식처럼 쓸 수 있다. $$\begin{pmatrix} G_E\\ G_{\overline{E}} \end{pmatrix} =\begin{pmatrix} [1-p(E)] & -p(\overline{E})\\ -p(E) & [1-p(\overline{E}) \end{pmatrix} \begin{pmatrix} S_E\\ S_\overline{E} \end{pmatrix} = P \begin{pmatrix} S_E\\ S_\overline{E} \end{pmatrix} $$ 마권업자의 뜻대로 되는 것을 막으려면 가운데 $2 \times 2$ 행렬 $P$의 행렬식이 0으로 되어야 할 것이다. 따라서 $$0 = \det P = 1- [p(E) + p(\overline{E})]$$ 으로 정규화 조건을 얻는다.
두 사건 $A$와 $B$는 일반적으로 상호배타적이지 않다. 그러나 $A \cap \overline{B}$와 $B$는 상호배타적인 사건들이다. 그러므로 두 사건들의 확률은 더할 수 있다: $$P(A \cap \overline{B}) + P(B) = P[(A \cap \overline{B}) \cup B].$$ 분배 법칙에 의하면 $$(A \cap \overline{B}) \cup B = (A \cup B) \cap (\overline{B} \cup B) = A \cup B$$ 이므로, 정리해보면 $$P(A \cap \overline{B}) + P(B) = P[A\cup B]$$ 이다. 베이즈의 정리를 이용하면 $$P(A \cap \overline{B}) = p(\overline{B} | A) p(A) = [1-p(B|A)] p(A) = p(A) - p(A\cap B)$$ 임을 알 수 있다. 따라서 일반적으로는 $$p(A \cap B) = p(A) + p(B) - p(A \cap B)$$ 이다.
즉 확률의 규칙을 따라 믿음을 형성하는 노름꾼을 만난다면 마권업자가 언제나 그에게 손해를 입히는 것이 불가능함을 보일 수 있다는 것이다. 다음의 두 경우를 증명하면 그 둘을 조합함으로써 일반적인 이야기를 할 수 있을 것이다.
상호배타적이고 전체를 망라하는(exhaustive) 사건들 $N$ 개에 대해 내기를 건다고 생각하자. 각 사건 $j$에 대해 $S_j$의 판돈이 걸려있는데 노름꾼이 이에 $p_j$의 믿음을 가짐으로써 $p_j S_j$의 돈을 걸고 내기에 참여한다고 하자. 만일 사건 $j$가 일어난다면 노름꾼이 가지게 되는 금액은 $$G_j = S_j - \sum_{k=1}^N p_k S_k$$ 이다. 전체를 놓고 보면 이 노름꾼이 가지게 될 금액의 기대값은 $$G = \sum_{j=1}^N p_j G_j = \sum_{j=1}^N p_j S_j - \sum_{j=1}^N \sum_{k=1}^N p_j p_k S_k = \left(1 - \sum_{k=1}^N p_k \right) \sum_{j=1}^N p_j S_j$$ 이다. 확률이 정규화되어 있다면 $G=0$이고 이는 모든 결과를 음수로 만드는 것은 불가능함을 의미한다.
조건부 사건에 대해 내기를 하는 경우를 생각해보자. 앞에서 베이즈의 정리를 논하면서 다음의 결과를 적었다:
따라서 노름꾼이 전체적으로 기대하는 결과는 다음과 같다: $$G = [1-p(B)] G_B + [1-p(A|B)] p(B) G_{A|B} + p(A\cap B) G_{A \cap B}.$$ 위의 식들을 대입하고 정리하면 $$G = [p(A \cap B) - p(A|B) p(B)] \times \left[ S_B + S_{A|B} -p(B) S_B - p(A\cap B)S_{A \cap B} -p(A|B) S_{A|B} \right]$$ 이므로 베이즈의 정리가 그 값을 0으로 만든다. 다시 말해 언제나 노름꾼이 잃게끔 꾸미는 것은 불가능하다.