신경망:공동_방법

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision		 Previous revision
신경망:공동_방법 [2026/10/10 21:39] – [메세지 전달] admin신경망:공동_방법 [2026/11/12 15:44] (current) – [참고문헌] admin
Line 3: Line 3:
 =====소울라스 코드===== =====소울라스 코드=====
  
-정보가 전송되는 과정에서 전달 채널의 잡음 때문에 원래의 정보가 수신자에게 깨끗하게 전송되지 못한다. 이 때 전송되는 메시지의 용량이 채널의 용량보다 작다면 정보 전달이 잡음 없이 이루어질 수 있음이 섀넌에 의해 증명되었고, 소울라스 코드는 이러한 섀넌의 한계에 도달하기 위한 한가지 방법이다. 소울라스 코드를 만드는 과정은 다음과 같다. +정보가 전송되는 과정에서 전달 채널의 잡음 때문에 원래의 정보가 수신자에게 깨끗하게 전송되지 못한다. 이 때 전송되는 메시지의 용량이 채널의 용량보다 작다면 정보 전달이 잡음 없이 이루어질 수 있음이 섀넌에 의해 증명되었고, 소울라스 코드(Sourlas code)는 이러한 섀넌의 한계에 도달하기 위한 한가지 방법이다. 소울라스 코드를 만드는 과정은 다음과 같다. 
  
-$N$개의 비트로 이루어진 전송하고자 하는 정보를 $\vec\xi\in\{\pm1\}^N$이라 하자. 이를 $M$개의 비트 $\mathbf J^0=\{J_1^0,J_2^0,\dots,J_M^0\}$로 변환한 뒤 상대방에게 전송한다. 이 때 변환은 각 $J_a^0$마다 $\vec\xi$에서 무작위로 몇 개의 비트를 골라 부분집합 $\partial a$를 만든 뒤 그 원소들을 곱하는 것으로 정의한다. 이를 수식으로 쓰면+$N$개의 비트로 이루어진 전송하고자 하는 정보를 $\vec\xi\in\{\pm1\}^N$이라 하자. 이를 $M$개의 비트 $\mathbf J^0=\{J_1^0,J_2^0,\dots,J_M^0\}$로 변환한 뒤 상대방에게 전송한다. 변환하는 과정에서 각각의 $J_a^0$는, $\vec\xi$에서 무작위로 몇 개의 비트를 골라 부분집합 $\partial a$를 만든 뒤 그 원소들을 곱하는 것으로 정의된다 (단, 각 $a$마다 $\partial a$가 무엇인지는 상대방에게도 알려져 있다고 하자). 이를 수식으로 쓰면
 $$J_a^0 = \prod_{i\in\partial a}\xi_i$$ $$J_a^0 = \prod_{i\in\partial a}\xi_i$$
 이다. 그리고 정보를 전송하는 과정에서 들어가는 잡음은 각 비트를 확률 $p$로 뒤집을 수 있다고 가정하면 전송하고자 하는 메시지에 대한 수신자가 실제로 받게 되는 메시지의 조건부 확률은 이다. 그리고 정보를 전송하는 과정에서 들어가는 잡음은 각 비트를 확률 $p$로 뒤집을 수 있다고 가정하면 전송하고자 하는 메시지에 대한 수신자가 실제로 받게 되는 메시지의 조건부 확률은
Line 86: Line 86:
 \end{align*} \end{align*}
 가 된다. $j \in \partial b \setminus i$는 기능 노드 $b$에 연결된 변수 노드들의 집합에서 $i$를 제외한 것을 의미한다. 위 그림의 예에서는 $\partial b \setminus i = \{m, n\}$이다. 이를 모든 $b \in \partial i$에 대해 반복하면서 합친 것이 $\{\sigma_j\vert j\in\partial b\backslash i;b\in\partial i\}$이다. 위의 그림에서라면 $\{j, k, l, m, n, \ldots\}$으로, 색칠된 원의 바로 바깥쪽 경계면에 있는 변수 노드들이다. 이 변수 노드들 외에는 모두 주변화함으로써 확률 분포 $P_{\text{cavity}}$를 적고, 이를 독립적인 확률들의 곱으로 근사한다: 가 된다. $j \in \partial b \setminus i$는 기능 노드 $b$에 연결된 변수 노드들의 집합에서 $i$를 제외한 것을 의미한다. 위 그림의 예에서는 $\partial b \setminus i = \{m, n\}$이다. 이를 모든 $b \in \partial i$에 대해 반복하면서 합친 것이 $\{\sigma_j\vert j\in\partial b\backslash i;b\in\partial i\}$이다. 위의 그림에서라면 $\{j, k, l, m, n, \ldots\}$으로, 색칠된 원의 바로 바깥쪽 경계면에 있는 변수 노드들이다. 이 변수 노드들 외에는 모두 주변화함으로써 확률 분포 $P_{\text{cavity}}$를 적고, 이를 독립적인 확률들의 곱으로 근사한다:
-$$P_{\text{cavity}} \left( \{\sigma_j\vert j\in\partial b\backslash i;b\in\partial i\} \right) = \sum_{\{\sigma_j\vert j\in\partial b;b\not\in\partial i\}}\frac{\exp\left(-\beta H^{\text{old}}\right)}{Z^{\text{old}}}\approx \prod_{\substack{b\in\partial i,\\j\in\partial b\backslash i}}q_{j\rightarrow b}(\sigma_j).$$+$$P_{\text{cavity}} \left( \{\sigma_j\vert j\in\partial b\backslash i;b\in\partial i\} \right) = \sum_{\sigma^\text{old} \setminus \{\sigma_j\vert j\in\partial b;b\in\partial i\}}\frac{\exp\left(-\beta H^{\text{old}}\right)}{Z^{\text{old}}}\approx \prod_{\substack{b\in\partial i,\\j\in\partial b\backslash i}}q_{j\rightarrow b}(\sigma_j).$$
  
 그러므로 스핀 $\sigma_i=\pm 1$이 추가되었을 때 새롭게 얻어지는 분배함수는 그러므로 스핀 $\sigma_i=\pm 1$이 추가되었을 때 새롭게 얻어지는 분배함수는
Line 174: Line 174:
 &=& \tanh \left( \sum_{b\in \partial i\setminus a} \beta u_{b\to i} \right). &=& \tanh \left( \sum_{b\in \partial i\setminus a} \beta u_{b\to i} \right).
 \end{eqnarray*} \end{eqnarray*}
 +
 +지워진 노드가 없는 전체 계를 고려한다면 자기화 양이 다음과 같고
 +\[ m_i = \tanh \left( \sum_{b\in \partial i} \beta u_{b\to i} \right), \]
 +메세지는 아래의 방법로 복호화하는데
 +\[ \sigma_i = \arg\max_{\sigma_i} P_i (\sigma_i), \]
 +이때 $P_i$는 $\sigma_i$가 $\pm 1$ 중 어떤 값을 가질지 알려주는 확률 분포로서 다음처럼 계산될 수 있는 양이다:
 +\[ P_i(\sigma_i) \equiv \frac{1+\sigma_i m_i}{2}. \]
 +
  
  
Line 186: Line 194:
   * Haiping Huang, //Statistical Physics of Neural Networks// (Springer, 2021).   * Haiping Huang, //Statistical Physics of Neural Networks// (Springer, 2021).
   * Marc Mézard and Andrea Montanari, //Information, Physics, and Computation// (Oxford University Press, Oxford, 2009).   * Marc Mézard and Andrea Montanari, //Information, Physics, and Computation// (Oxford University Press, Oxford, 2009).
 +  * Marc Mézard and Giorgio Parisi, //The Bethe lattice spin glass revisited//, Eur. Phys. J. B **20**, 217 (2001).
  
  
  • 신경망/공동_방법.1791635944.txt.gz
  • Last modified: 2026/10/10 21:39
  • by admin