신경망:공동_방법

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
Next revision		 Previous revision
신경망:공동_방법 [2026/10/10 21:47] – [소울라스 코드] admin신경망:공동_방법 [2026/11/12 15:44] (current) – [참고문헌] admin
Line 5: Line 5:
 정보가 전송되는 과정에서 전달 채널의 잡음 때문에 원래의 정보가 수신자에게 깨끗하게 전송되지 못한다. 이 때 전송되는 메시지의 용량이 채널의 용량보다 작다면 정보 전달이 잡음 없이 이루어질 수 있음이 섀넌에 의해 증명되었고, 소울라스 코드(Sourlas code)는 이러한 섀넌의 한계에 도달하기 위한 한가지 방법이다. 소울라스 코드를 만드는 과정은 다음과 같다.  정보가 전송되는 과정에서 전달 채널의 잡음 때문에 원래의 정보가 수신자에게 깨끗하게 전송되지 못한다. 이 때 전송되는 메시지의 용량이 채널의 용량보다 작다면 정보 전달이 잡음 없이 이루어질 수 있음이 섀넌에 의해 증명되었고, 소울라스 코드(Sourlas code)는 이러한 섀넌의 한계에 도달하기 위한 한가지 방법이다. 소울라스 코드를 만드는 과정은 다음과 같다. 
  
-$N$개의 비트로 이루어진 전송하고자 하는 정보를 $\vec\xi\in\{\pm1\}^N$이라 하자. 이를 $M$개의 비트 $\mathbf J^0=\{J_1^0,J_2^0,\dots,J_M^0\}$로 변환한 뒤 상대방에게 전송한다. 이 때 변환은 각 $J_a^0$마다 $\vec\xi$에서 무작위로 몇 개의 비트를 골라 부분집합 $\partial a$를 만든 뒤 그 원소들을 곱하는 것으로 정의한다. 이를 수식으로 쓰면+$N$개의 비트로 이루어진 전송하고자 하는 정보를 $\vec\xi\in\{\pm1\}^N$이라 하자. 이를 $M$개의 비트 $\mathbf J^0=\{J_1^0,J_2^0,\dots,J_M^0\}$로 변환한 뒤 상대방에게 전송한다. 변환하는 과정에서 각각의 $J_a^0$는, $\vec\xi$에서 무작위로 몇 개의 비트를 골라 부분집합 $\partial a$를 만든 뒤 그 원소들을 곱하는 것으로 정의된다 (단, 각 $a$마다 $\partial a$가 무엇인지는 상대방에게도 알려져 있다고 하자). 이를 수식으로 쓰면
 $$J_a^0 = \prod_{i\in\partial a}\xi_i$$ $$J_a^0 = \prod_{i\in\partial a}\xi_i$$
 이다. 그리고 정보를 전송하는 과정에서 들어가는 잡음은 각 비트를 확률 $p$로 뒤집을 수 있다고 가정하면 전송하고자 하는 메시지에 대한 수신자가 실제로 받게 되는 메시지의 조건부 확률은 이다. 그리고 정보를 전송하는 과정에서 들어가는 잡음은 각 비트를 확률 $p$로 뒤집을 수 있다고 가정하면 전송하고자 하는 메시지에 대한 수신자가 실제로 받게 되는 메시지의 조건부 확률은
Line 86: Line 86:
 \end{align*} \end{align*}
 가 된다. $j \in \partial b \setminus i$는 기능 노드 $b$에 연결된 변수 노드들의 집합에서 $i$를 제외한 것을 의미한다. 위 그림의 예에서는 $\partial b \setminus i = \{m, n\}$이다. 이를 모든 $b \in \partial i$에 대해 반복하면서 합친 것이 $\{\sigma_j\vert j\in\partial b\backslash i;b\in\partial i\}$이다. 위의 그림에서라면 $\{j, k, l, m, n, \ldots\}$으로, 색칠된 원의 바로 바깥쪽 경계면에 있는 변수 노드들이다. 이 변수 노드들 외에는 모두 주변화함으로써 확률 분포 $P_{\text{cavity}}$를 적고, 이를 독립적인 확률들의 곱으로 근사한다: 가 된다. $j \in \partial b \setminus i$는 기능 노드 $b$에 연결된 변수 노드들의 집합에서 $i$를 제외한 것을 의미한다. 위 그림의 예에서는 $\partial b \setminus i = \{m, n\}$이다. 이를 모든 $b \in \partial i$에 대해 반복하면서 합친 것이 $\{\sigma_j\vert j\in\partial b\backslash i;b\in\partial i\}$이다. 위의 그림에서라면 $\{j, k, l, m, n, \ldots\}$으로, 색칠된 원의 바로 바깥쪽 경계면에 있는 변수 노드들이다. 이 변수 노드들 외에는 모두 주변화함으로써 확률 분포 $P_{\text{cavity}}$를 적고, 이를 독립적인 확률들의 곱으로 근사한다:
-$$P_{\text{cavity}} \left( \{\sigma_j\vert j\in\partial b\backslash i;b\in\partial i\} \right) = \sum_{\{\sigma_j\vert j\in\partial b;b\not\in\partial i\}}\frac{\exp\left(-\beta H^{\text{old}}\right)}{Z^{\text{old}}}\approx \prod_{\substack{b\in\partial i,\\j\in\partial b\backslash i}}q_{j\rightarrow b}(\sigma_j).$$+$$P_{\text{cavity}} \left( \{\sigma_j\vert j\in\partial b\backslash i;b\in\partial i\} \right) = \sum_{\sigma^\text{old} \setminus \{\sigma_j\vert j\in\partial b;b\in\partial i\}}\frac{\exp\left(-\beta H^{\text{old}}\right)}{Z^{\text{old}}}\approx \prod_{\substack{b\in\partial i,\\j\in\partial b\backslash i}}q_{j\rightarrow b}(\sigma_j).$$
  
 그러므로 스핀 $\sigma_i=\pm 1$이 추가되었을 때 새롭게 얻어지는 분배함수는 그러므로 스핀 $\sigma_i=\pm 1$이 추가되었을 때 새롭게 얻어지는 분배함수는
Line 194: Line 194:
   * Haiping Huang, //Statistical Physics of Neural Networks// (Springer, 2021).   * Haiping Huang, //Statistical Physics of Neural Networks// (Springer, 2021).
   * Marc Mézard and Andrea Montanari, //Information, Physics, and Computation// (Oxford University Press, Oxford, 2009).   * Marc Mézard and Andrea Montanari, //Information, Physics, and Computation// (Oxford University Press, Oxford, 2009).
 +  * Marc Mézard and Giorgio Parisi, //The Bethe lattice spin glass revisited//, Eur. Phys. J. B **20**, 217 (2001).
  
  
  • 신경망/공동_방법.1791636464.txt.gz
  • Last modified: 2026/10/10 21:47
  • by admin