Differences

This shows you the differences between two versions of the page.

--- 신경망:공동_방법 [2026/10/10 21:12] – [메세지 전달] admin
+++ 신경망:공동_방법 [2026/11/12 15:44] (current) – [참고문헌] admin
@@ Line 3: / Line 3: @@
 =====소울라스 코드=====
-정보가 전송되는 과정에서 전달 채널의 잡음 때문에 원래의 정보가 수신자에게 깨끗하게 전송되지 못한다. 이 때 전송되는 메시지의 용량이 채널의 용량보다 작다면 정보 전달이 잡음 없이 이루어질 수 있음이 섀넌에 의해 증명되었고, 소울라스 코드는 이러한 섀넌의 한계에 도달하기 위한 한가지 방법이다. 소울라스 코드를 만드는 과정은 다음과 같다.
+정보가 전송되는 과정에서 전달 채널의 잡음 때문에 원래의 정보가 수신자에게 깨끗하게 전송되지 못한다. 이 때 전송되는 메시지의 용량이 채널의 용량보다 작다면 정보 전달이 잡음 없이 이루어질 수 있음이 섀넌에 의해 증명되었고, 소울라스 코드(Sourlas code)는 이러한 섀넌의 한계에 도달하기 위한 한가지 방법이다. 소울라스 코드를 만드는 과정은 다음과 같다.
-$N$개의 비트로 이루어진 전송하고자 하는 정보를 $\vec\xi\in\{\pm1\}^N$이라 하자. 이를 $M$개의 비트 $\mathbf J^0=\{J_1^0,J_2^0,\dots,J_M^0\}$로 변환한 뒤 상대방에게 전송한다. 이 때 변환은 각 $J_a^0$마다 $\vec\xi$에서 무작위로 몇 개의 비트를 골라 부분집합 $\partial a$를 만든 뒤 그 원소들을 곱하는 것으로 정의한다. 이를 수식으로 쓰면
+$N$개의 비트로 이루어진 전송하고자 하는 정보를 $\vec\xi\in\{\pm1\}^N$이라 하자. 이를 $M$개의 비트 $\mathbf J^0=\{J_1^0,J_2^0,\dots,J_M^0\}$로 변환한 뒤 상대방에게 전송한다. 변환하는 과정에서 각각의 $J_a^0$는, $\vec\xi$에서 무작위로 몇 개의 비트를 골라 부분집합 $\partial a$를 만든 뒤 그 원소들을 곱하는 것으로 정의된다 (단, 각 $a$마다 $\partial a$가 무엇인지는 상대방에게도 알려져 있다고 하자). 이를 수식으로 쓰면
 $$J_a^0 = \prod_{i\in\partial a}\xi_i$$
 이다. 그리고 정보를 전송하는 과정에서 들어가는 잡음은 각 비트를 확률 $p$로 뒤집을 수 있다고 가정하면 전송하고자 하는 메시지에 대한 수신자가 실제로 받게 되는 메시지의 조건부 확률은
@@ Line 86: / Line 86: @@
 \end{align*}
 가 된다. $j \in \partial b \setminus i$는 기능 노드 $b$에 연결된 변수 노드들의 집합에서 $i$를 제외한 것을 의미한다. 위 그림의 예에서는 $\partial b \setminus i = \{m, n\}$이다. 이를 모든 $b \in \partial i$에 대해 반복하면서 합친 것이 $\{\sigma_j\vert j\in\partial b\backslash i;b\in\partial i\}$이다. 위의 그림에서라면 $\{j, k, l, m, n, \ldots\}$으로, 색칠된 원의 바로 바깥쪽 경계면에 있는 변수 노드들이다. 이 변수 노드들 외에는 모두 주변화함으로써 확률 분포 $P_{\text{cavity}}$를 적고, 이를 독립적인 확률들의 곱으로 근사한다:
-$$P_{\text{cavity}} \left( \{\sigma_j\vert j\in\partial b\backslash i;b\in\partial i\} \right) = \sum_{\{\sigma_j\vert j\in\partial b;b\not\in\partial i\}}\frac{\exp\left(-\beta H^{\text{old}}\right)}{Z^{\text{old}}}\approx \prod_{\substack{b\in\partial i,\\j\in\partial b\backslash i}}q_{j\rightarrow b}(\sigma_j).$$
+$$P_{\text{cavity}} \left( \{\sigma_j\vert j\in\partial b\backslash i;b\in\partial i\} \right) = \sum_{\sigma^\text{old} \setminus \{\sigma_j\vert j\in\partial b;b\in\partial i\}}\frac{\exp\left(-\beta H^{\text{old}}\right)}{Z^{\text{old}}}\approx \prod_{\substack{b\in\partial i,\\j\in\partial b\backslash i}}q_{j\rightarrow b}(\sigma_j).$$
 그러므로 스핀 $\sigma_i=\pm 1$이 추가되었을 때 새롭게 얻어지는 분배함수는
@@ Line 147: / Line 147: @@
 그러면 역시 앞의 결과를 참고했을 때,
 \[ m_{i\to a} \approx \frac{ \prod_{b\in \partial i\setminus a} \left( 1+\hat{m}_{b\to i} \right) - \prod_{b\in \partial i\setminus a} \left( 1-\hat{m}_{b\to i} \right)}{\prod_{b\in \partial i\setminus a} \left( 1+\hat{m}_{b\to i} \right) + \prod_{b\in \partial i\setminus a} \left( 1-\hat{m}_{b\to i} \right)}.\]
-앞 절에서
+이 두 방정식을 연립하여 풀면 "메세지들"인 $\left\{ m_{i\to a} \right\}$의 고정점을 찾아내게 된다.
+조금 더 식을 정리하기 위해, 앞 절에서
 \[q_{i\to a}(\sigma_i) \equiv \frac{1+\sigma_i m_{i\to a}}{2}\]
 를 정의했던 것처럼 켤레 변수에 대해서도 다음을 정의한다:
 \[p_{a\to i}(\sigma_i) \equiv \frac{1+\sigma_i \hat{m}_{a\to i}}{2}.\]
-이제 $h_{i\to a}$와 $u_{a\to i}$라는 두 양을 도입해서 아래의 식을 만족하게끔 하면
+이제 $h_{i\to a}$와 $u_{a\to i}$라는 양들을 도입해서 아래의 식을 만족하게끔 하면
 \begin{eqnarray*}
-q_{i\to a}(\sigma_i) &=& \frac{\exp(\beta h_{i\to a})}{\exp(\beta h_{i\to a}) + \exp(-\beta h_{i\to a})}\\
+q_{i\to a}(\sigma_i) &=& \frac{\exp(\beta h_{i\to a}\sigma_i)}{\exp(\beta h_{i\to a}) + \exp(-\beta h_{i\to a})}\\
-p_{a\to i}(\sigma_i) &=& \frac{\exp(\beta u_{a\to i})}{\exp(\beta u_{a\to i}) + \exp(-\beta u_{a\to i})},
+p_{a\to i}(\sigma_i) &=& \frac{\exp(\beta u_{a\to i}\sigma_i)}{\exp(\beta u_{a\to i}) + \exp(-\beta u_{a\to i})},
 \end{eqnarray*}
 다음의 관계식을 얻는다:
 \begin{eqnarray*}
 m_{i\to a} &=& q_{i\to a}(\sigma_i=+1) - q_{i\to a}(\sigma_i=-1) = \tanh \beta h_{i\to a}\\
-\hat{m}_{i\to a} &=& p_{a\to i}(\sigma_i=+1) - p_{a\to i}(\sigma_i=-1) = \tanh \beta u_{a\to i}.
+\hat{m}_{a\to i} &=& p_{a\to i}(\sigma_i=+1) - p_{a\to i}(\sigma_i=-1) = \tanh \beta u_{a\to i}.
 \end{eqnarray*}
+풀어야 할 방정식을 $h_{i\to a}$와 $u_{a\to i}$를 가지고 다시 써본다.
+먼저 켤레 변수의 정의로부터
+\[ \tanh \beta u_{a\to i} = \hat{m}_{i\to a} = \tanh \beta J_b \prod_{j\in \partial b\setminus i} m_{j\to b} = \tanh \beta J_b \prod_{j\in \partial b\setminus i} \tanh \beta h_{i\to a}. \]
+다른 하나의 방정식은
+\begin{eqnarray*}
+\tanh \beta h_{i\to a} &=& m_{i\to a} \approx \frac{ \prod_{b\in \partial i\setminus a} \left( 1+\hat{m}_{b\to i} \right) - \prod_{b\in \partial i\setminus a} \left( 1-\hat{m}_{b\to i} \right)}{\prod_{b\in \partial i\setminus a} \left( 1+\hat{m}_{b\to i} \right) + \prod_{b\in \partial i\setminus a} \left( 1-\hat{m}_{b\to i} \right)}\\
+&=& \frac{ \prod_{b\in \partial i\setminus a} \left( 1+\tanh \beta u_{b\to i} \right) - \prod_{b\in \partial i\setminus a} \left( 1-\tanh \beta u_{b\to i} \right)}{\prod_{b\in \partial i\setminus a} \left( 1+\tanh \beta u_{b\to i} \right) + \prod_{b\in \partial i\setminus a} \left( 1-\tanh \beta u_{b\to i} \right)}\\
+&=& \frac{ \prod_{b\in \partial i\setminus a} \exp \left( \beta u_{b\to i} \right) - \prod_{b\in \partial i\setminus a} \exp \left( - \beta u_{b\to i} \right)}{\prod_{b\in \partial i\setminus a} \exp \left( \beta u_{b\to i} \right) + \prod_{b\in \partial i\setminus a} \exp \left( -\beta u_{b\to i} \right)}\\
+&=& \frac{ \exp \left( \sum_{b\in \partial i\setminus a} \beta u_{b\to i} \right) - \exp \left( - \sum_{b\in \partial i\setminus a} \beta u_{b\to i} \right)}{\exp \left( \sum_{b\in \partial i\setminus a} \beta u_{b\to i} \right) + \exp \left( -\sum_{b\in \partial i\setminus a} \beta u_{b\to i} \right)}\\
+&=& \tanh \left( \sum_{b\in \partial i\setminus a} \beta u_{b\to i} \right).
+\end{eqnarray*}
+지워진 노드가 없는 전체 계를 고려한다면 자기화 양이 다음과 같고
+\[ m_i = \tanh \left( \sum_{b\in \partial i} \beta u_{b\to i} \right), \]
+메세지는 아래의 방법로 복호화하는데
+\[ \sigma_i = \arg\max_{\sigma_i} P_i (\sigma_i), \]
+이때 $P_i$는 $\sigma_i$가 $\pm 1$ 중 어떤 값을 가질지 알려주는 확률 분포로서 다음처럼 계산될 수 있는 양이다:
+\[ P_i(\sigma_i) \equiv \frac{1+\sigma_i m_i}{2}. \]
 ======1RSB======
@@ Line 172: / Line 194: @@
   * Haiping Huang, //Statistical Physics of Neural Networks// (Springer, 2021).
   * Marc Mézard and Andrea Montanari, //Information, Physics, and Computation// (Oxford University Press, Oxford, 2009).
+  * Marc Mézard and Giorgio Parisi, //The Bethe lattice spin glass revisited//, Eur. Phys. J. B **20**, 217 (2001).