신경망:공동_방법

Differences

This shows you the differences between two versions of the page.

Link to this comparison view

Both sides previous revision Previous revision
신경망:공동_방법 [2026/08/31 17:32] – [공동 방법(cavity method)] admin신경망:공동_방법 [2026/08/31 17:35] (current) admin
Line 1: Line 1:
-=====소울라스 코드=====+======소울라스 코드======
  
 정보가 전송되는 과정에서 전달 채널의 잡음 때문에 원래의 정보가 수신자에게 깨끗하게 전송되지 못한다. 이 때 전송되는 메시지의 용량이 채널의 용량보다 작다면 정보 전달이 잡음 없이 이루어질 수 있음이 섀넌에 의해 증명되었고, 소울라스 코드는 이러한 섀넌의 한계에 도달하기 위한 한가지 방법이다. 소울라스 코드를 만드는 과정은 다음과 같다.  정보가 전송되는 과정에서 전달 채널의 잡음 때문에 원래의 정보가 수신자에게 깨끗하게 전송되지 못한다. 이 때 전송되는 메시지의 용량이 채널의 용량보다 작다면 정보 전달이 잡음 없이 이루어질 수 있음이 섀넌에 의해 증명되었고, 소울라스 코드는 이러한 섀넌의 한계에 도달하기 위한 한가지 방법이다. 소울라스 코드를 만드는 과정은 다음과 같다. 
Line 13: Line 13:
 를 계산해서 가장 그럴듯한 $\sigma$를 찾아내는 것으로 이해할 수 있다. 를 계산해서 가장 그럴듯한 $\sigma$를 찾아내는 것으로 이해할 수 있다.
  
-=====공동 방법(cavity method)=====+======공동 방법(cavity method)======
 위에서 언급했던 조건부 확률을 계산하려면 분배함수 $Z=\sum_{\vec\sigma}e^{-\beta H(\vec\sigma)}$를 계산해야 하는데 이 과정의 계산복잡도는 $2^N$로 매우 크다. 하지만 공동 방법(cavity method)를 이용하면 희박한 인자 그래프 모형에 대한 분배함수를 $=O(N)$까지 줄여 계산할 수 있다. 위에서 언급했던 조건부 확률을 계산하려면 분배함수 $Z=\sum_{\vec\sigma}e^{-\beta H(\vec\sigma)}$를 계산해야 하는데 이 과정의 계산복잡도는 $2^N$로 매우 크다. 하지만 공동 방법(cavity method)를 이용하면 희박한 인자 그래프 모형에 대한 분배함수를 $=O(N)$까지 줄여 계산할 수 있다.
  
Line 85: Line 85:
 와 같이 쓸 수 있다. 와 같이 쓸 수 있다.
  
-====참고문헌====+======함께 보기====== 
 +  * [[수학:인자_그래프|인자 그래프]] 
 +  * [[물리:tap_방정식|TAP 방정식]] 
 +  * [[물리:스핀_유리|스핀 유리]] 
 + 
 +======참고문헌======
   * Haiping Huang, //Statistical Physics of Neural Networks// (Springer, 2021).   * Haiping Huang, //Statistical Physics of Neural Networks// (Springer, 2021).
  
  
  • 신경망/공동_방법.txt
  • Last modified: 2026/08/31 17:35
  • by admin