Differences

This shows you the differences between two versions of the page.

--- 신경망:공동_방법 [2026/10/10 16:19] – [메세지 전달] admin
+++ 신경망:공동_방법 [2026/11/12 15:44] (current) – [참고문헌] admin
@@ Line 3: / Line 3: @@
 =====소울라스 코드=====
-정보가 전송되는 과정에서 전달 채널의 잡음 때문에 원래의 정보가 수신자에게 깨끗하게 전송되지 못한다. 이 때 전송되는 메시지의 용량이 채널의 용량보다 작다면 정보 전달이 잡음 없이 이루어질 수 있음이 섀넌에 의해 증명되었고, 소울라스 코드는 이러한 섀넌의 한계에 도달하기 위한 한가지 방법이다. 소울라스 코드를 만드는 과정은 다음과 같다.
+정보가 전송되는 과정에서 전달 채널의 잡음 때문에 원래의 정보가 수신자에게 깨끗하게 전송되지 못한다. 이 때 전송되는 메시지의 용량이 채널의 용량보다 작다면 정보 전달이 잡음 없이 이루어질 수 있음이 섀넌에 의해 증명되었고, 소울라스 코드(Sourlas code)는 이러한 섀넌의 한계에 도달하기 위한 한가지 방법이다. 소울라스 코드를 만드는 과정은 다음과 같다.
-$N$개의 비트로 이루어진 전송하고자 하는 정보를 $\vec\xi\in\{\pm1\}^N$이라 하자. 이를 $M$개의 비트 $\mathbf J^0=\{J_1^0,J_2^0,\dots,J_M^0\}$로 변환한 뒤 상대방에게 전송한다. 이 때 변환은 각 $J_a^0$마다 $\vec\xi$에서 무작위로 몇 개의 비트를 골라 부분집합 $\partial a$를 만든 뒤 그 원소들을 곱하는 것으로 정의한다. 이를 수식으로 쓰면
+$N$개의 비트로 이루어진 전송하고자 하는 정보를 $\vec\xi\in\{\pm1\}^N$이라 하자. 이를 $M$개의 비트 $\mathbf J^0=\{J_1^0,J_2^0,\dots,J_M^0\}$로 변환한 뒤 상대방에게 전송한다. 변환하는 과정에서 각각의 $J_a^0$는, $\vec\xi$에서 무작위로 몇 개의 비트를 골라 부분집합 $\partial a$를 만든 뒤 그 원소들을 곱하는 것으로 정의된다 (단, 각 $a$마다 $\partial a$가 무엇인지는 상대방에게도 알려져 있다고 하자). 이를 수식으로 쓰면
 $$J_a^0 = \prod_{i\in\partial a}\xi_i$$
 이다. 그리고 정보를 전송하는 과정에서 들어가는 잡음은 각 비트를 확률 $p$로 뒤집을 수 있다고 가정하면 전송하고자 하는 메시지에 대한 수신자가 실제로 받게 되는 메시지의 조건부 확률은
@@ Line 86: / Line 86: @@
 \end{align*}
 가 된다. $j \in \partial b \setminus i$는 기능 노드 $b$에 연결된 변수 노드들의 집합에서 $i$를 제외한 것을 의미한다. 위 그림의 예에서는 $\partial b \setminus i = \{m, n\}$이다. 이를 모든 $b \in \partial i$에 대해 반복하면서 합친 것이 $\{\sigma_j\vert j\in\partial b\backslash i;b\in\partial i\}$이다. 위의 그림에서라면 $\{j, k, l, m, n, \ldots\}$으로, 색칠된 원의 바로 바깥쪽 경계면에 있는 변수 노드들이다. 이 변수 노드들 외에는 모두 주변화함으로써 확률 분포 $P_{\text{cavity}}$를 적고, 이를 독립적인 확률들의 곱으로 근사한다:
-$$P_{\text{cavity}} \left( \{\sigma_j\vert j\in\partial b\backslash i;b\in\partial i\} \right) = \sum_{\{\sigma_j\vert j\in\partial b;b\not\in\partial i\}}\frac{\exp\left(-\beta H^{\text{old}}\right)}{Z^{\text{old}}}\approx \prod_{\substack{b\in\partial i,\\j\in\partial b\backslash i}}q_{j\rightarrow b}(\sigma_j).$$
+$$P_{\text{cavity}} \left( \{\sigma_j\vert j\in\partial b\backslash i;b\in\partial i\} \right) = \sum_{\sigma^\text{old} \setminus \{\sigma_j\vert j\in\partial b;b\in\partial i\}}\frac{\exp\left(-\beta H^{\text{old}}\right)}{Z^{\text{old}}}\approx \prod_{\substack{b\in\partial i,\\j\in\partial b\backslash i}}q_{j\rightarrow b}(\sigma_j).$$
 그러므로 스핀 $\sigma_i=\pm 1$이 추가되었을 때 새롭게 얻어지는 분배함수는
@@ Line 129: / Line 129: @@
 기능 노드 $a$의 기여가 없을 때 $\sigma_i$의 기댓값을 구해보자:
 \[ m_{i\to a} = \frac{\sum_{\vec{\sigma}} \sigma_i \exp\left[ -\beta H_{i\to a}(\vec{\sigma}) \right]}{\sum_{\vec{\sigma}} \exp\left[ -\beta H_{i\to a}(\vec{\sigma}) \right]}. \]
-이때 $H_{i\to a}$는 상호작용 $a$가 없는 해밀토니안이다.
+이때 $H_{i\to a}$는 기능 노드 $a$로부터의 기여가 없는 해밀토니안이다.
-$H_\text{cavity}$를 원래의 계에서 변수 노드 $i$를 그 주변의 기능 노드들 $b\in \partial i$와 함께 제외한 계라고 정의하면, 다음의 관계가 성립한다:
+$H_\text{cavity}$를 원래의 계에서 변수 노드 $i$를 그 주변의 기능 노드들 $b\in \partial i$와 함께 제외하되 $a$만을 남겨놓은 계라고 정의하면, 다음의 관계가 성립한다:
 $$H_{i\to a} = H_\text{cavity} -\sum_{b\in\partial i\setminus a}J_b \sigma_i \prod_{j\in\partial b\setminus i}\sigma_j.$$
-그러니까 위에 있던 그림과 비교해 보면, 우변의 두 번째 항은 '기능 노드 $b$ 주변의 점선으로 표시된 상호작용', '기능 노드 $c$ 주변의 점선으로 표시된 상호작용' 등을 $H_\text{cavity}$에 추가하는데, '기능 노드 $a$ 주변의 점선으로 표시된 상호작용'은 추가하지 않았다.
+그러니까 위에 있던 그림과 비교해 보면, 우변의 두 번째 항은 '기능 노드 $b$ 주변의 점선으로 표시된 상호작용', '기능 노드 $c$ 주변의 점선으로 표시된 상호작용' 등을 $H_\text{cavity}$에 추가하는데, '기능 노드 $a$ 주변의 점선으로 표시된 상호작용'은 추가하지 않았다. 그 결과 $i$와 $a$를 잇는 선만이 빠진 채로 남게 된다.
+$\mathcal{B} \equiv \{ \sigma_j \vert j \in \partial b\setminus i; b \in \partial i \setminus a\}$로 정의해 놓자. 즉 공동의 경계에 놓인 변수 노드들의 집합인데, $a$에 연결된 것들은 여기에서 뺀다. 위 그림의 예에서라면 $\mathcal{B} = \{m, n, \ldots\}$이다. $a$에 연결된 것들을 뺀다는 점만이 다를 뿐(즉 $b \in \partial i$ 대신 $b \in \partial i \setminus a$을 쓴다), 앞 절의 계산을 그대로 따라갈 수 있다.
+$\mathcal{B}$의 변수 노드들만을 제외하고 모두 주변화를 시행하면 $P_\text{cavity} (\mathcal{B})$를 얻는데, 상관 관계가 약하다고 가정하고 독립적인 확률의 곱으로 근사할 수 있다:
+\[ P_\text{cavity} (\mathcal{B}) \approx \prod_{\substack{b \in \partial i \setminus a\\j\in \partial b\setminus i}} q_{j\to b}(\sigma_j).\]
+이를 활용하여 적으면,
+\begin{eqnarray*}
+m_{i\to a} &=& \frac{ \sum_{\sigma_i} \sum_{\mathcal{B}} \sigma_i P_\text{cavity} (\mathcal{B}) \exp\left( \beta \sum_{b\in \partial i\setminus a} J_b \sigma_i \prod_{j \in \partial b\setminus i} \sigma_j \right) }{ \sum_{\sigma_i} \sum_{\mathcal{B}} P_\text{cavity} (\mathcal{B}) \exp\left( \beta \sum_{b\in \partial i\setminus a} J_b \sigma_i \prod_{j \in \partial b\setminus i} \sigma_j \right) }\\
+&\approx& \frac{ \prod_{b\in \partial i\setminus a} \Lambda_{b\to i}^+ - \prod_{b\in \partial i\setminus a} \Lambda_{b\to i}^-}{\prod_{b\in \partial i\setminus a} \Lambda_{b\to i}^+ + \prod_{b\in \partial i\setminus a} \Lambda_{b\to i}^-}.
+\end{eqnarray*}
+켤레 변수를 다음처럼 정의하자:
+\[ \hat{m}_{b\to j} \equiv \tanh \beta J_b \prod_{j\in \partial b\setminus i} m_{j\to b}. \]
+그러면 역시 앞의 결과를 참고했을 때,
+\[ m_{i\to a} \approx \frac{ \prod_{b\in \partial i\setminus a} \left( 1+\hat{m}_{b\to i} \right) - \prod_{b\in \partial i\setminus a} \left( 1-\hat{m}_{b\to i} \right)}{\prod_{b\in \partial i\setminus a} \left( 1+\hat{m}_{b\to i} \right) + \prod_{b\in \partial i\setminus a} \left( 1-\hat{m}_{b\to i} \right)}.\]
+이 두 방정식을 연립하여 풀면 "메세지들"인 $\left\{ m_{i\to a} \right\}$의 고정점을 찾아내게 된다.
+조금 더 식을 정리하기 위해, 앞 절에서
+\[q_{i\to a}(\sigma_i) \equiv \frac{1+\sigma_i m_{i\to a}}{2}\]
+를 정의했던 것처럼 켤레 변수에 대해서도 다음을 정의한다:
+\[p_{a\to i}(\sigma_i) \equiv \frac{1+\sigma_i \hat{m}_{a\to i}}{2}.\]
+이제 $h_{i\to a}$와 $u_{a\to i}$라는 양들을 도입해서 아래의 식을 만족하게끔 하면
+\begin{eqnarray*}
+q_{i\to a}(\sigma_i) &=& \frac{\exp(\beta h_{i\to a}\sigma_i)}{\exp(\beta h_{i\to a}) + \exp(-\beta h_{i\to a})}\\
+p_{a\to i}(\sigma_i) &=& \frac{\exp(\beta u_{a\to i}\sigma_i)}{\exp(\beta u_{a\to i}) + \exp(-\beta u_{a\to i})},
+\end{eqnarray*}
+다음의 관계식을 얻는다:
+\begin{eqnarray*}
+m_{i\to a} &=& q_{i\to a}(\sigma_i=+1) - q_{i\to a}(\sigma_i=-1) = \tanh \beta h_{i\to a}\\
+\hat{m}_{a\to i} &=& p_{a\to i}(\sigma_i=+1) - p_{a\to i}(\sigma_i=-1) = \tanh \beta u_{a\to i}.
+\end{eqnarray*}
+풀어야 할 방정식을 $h_{i\to a}$와 $u_{a\to i}$를 가지고 다시 써본다.
+먼저 켤레 변수의 정의로부터
+\[ \tanh \beta u_{a\to i} = \hat{m}_{i\to a} = \tanh \beta J_b \prod_{j\in \partial b\setminus i} m_{j\to b} = \tanh \beta J_b \prod_{j\in \partial b\setminus i} \tanh \beta h_{i\to a}. \]
+다른 하나의 방정식은
+\begin{eqnarray*}
+\tanh \beta h_{i\to a} &=& m_{i\to a} \approx \frac{ \prod_{b\in \partial i\setminus a} \left( 1+\hat{m}_{b\to i} \right) - \prod_{b\in \partial i\setminus a} \left( 1-\hat{m}_{b\to i} \right)}{\prod_{b\in \partial i\setminus a} \left( 1+\hat{m}_{b\to i} \right) + \prod_{b\in \partial i\setminus a} \left( 1-\hat{m}_{b\to i} \right)}\\
+&=& \frac{ \prod_{b\in \partial i\setminus a} \left( 1+\tanh \beta u_{b\to i} \right) - \prod_{b\in \partial i\setminus a} \left( 1-\tanh \beta u_{b\to i} \right)}{\prod_{b\in \partial i\setminus a} \left( 1+\tanh \beta u_{b\to i} \right) + \prod_{b\in \partial i\setminus a} \left( 1-\tanh \beta u_{b\to i} \right)}\\
+&=& \frac{ \prod_{b\in \partial i\setminus a} \exp \left( \beta u_{b\to i} \right) - \prod_{b\in \partial i\setminus a} \exp \left( - \beta u_{b\to i} \right)}{\prod_{b\in \partial i\setminus a} \exp \left( \beta u_{b\to i} \right) + \prod_{b\in \partial i\setminus a} \exp \left( -\beta u_{b\to i} \right)}\\
+&=& \frac{ \exp \left( \sum_{b\in \partial i\setminus a} \beta u_{b\to i} \right) - \exp \left( - \sum_{b\in \partial i\setminus a} \beta u_{b\to i} \right)}{\exp \left( \sum_{b\in \partial i\setminus a} \beta u_{b\to i} \right) + \exp \left( -\sum_{b\in \partial i\setminus a} \beta u_{b\to i} \right)}\\
+&=& \tanh \left( \sum_{b\in \partial i\setminus a} \beta u_{b\to i} \right).
+\end{eqnarray*}
+지워진 노드가 없는 전체 계를 고려한다면 자기화 양이 다음과 같고
+\[ m_i = \tanh \left( \sum_{b\in \partial i} \beta u_{b\to i} \right), \]
+메세지는 아래의 방법로 복호화하는데
+\[ \sigma_i = \arg\max_{\sigma_i} P_i (\sigma_i), \]
+이때 $P_i$는 $\sigma_i$가 $\pm 1$ 중 어떤 값을 가질지 알려주는 확률 분포로서 다음처럼 계산될 수 있는 양이다:
+\[ P_i(\sigma_i) \equiv \frac{1+\sigma_i m_i}{2}. \]
-/*
-$\mathcal{B} \equiv \{ \sigma_j \vert j \in \partial b\setminus i; b \in \partial i \setminus a\}$로 정의해 놓자. 즉 공동의 경계에 놓인 변수 노드들의 집합인데, $a$에 연결된 것들은 여기에서 뺀다. 위 그림의 예에서라면 $\mathcal{B} = \{m, n, \ldots\}$이다.
-*/
@@ Line 149: / Line 194: @@
   * Haiping Huang, //Statistical Physics of Neural Networks// (Springer, 2021).
   * Marc Mézard and Andrea Montanari, //Information, Physics, and Computation// (Oxford University Press, Oxford, 2009).
+  * Marc Mézard and Giorgio Parisi, //The Bethe lattice spin glass revisited//, Eur. Phys. J. B **20**, 217 (2001).