| Both sides previous revision Previous revision Next revision | Previous revision |
| 수학:인자_그래프 [2026/03/30 21:05] – [온사거 보정항] admin | 수학:인자_그래프 [2026/04/01 13:39] (current) – [$p$-스핀 유리 모형] admin |
|---|
| \end{eqnarray*} | \end{eqnarray*} |
| 이는 [[물리:복제_대칭_해|복제 대칭 해]]에서 얻은 결과와 동일한 것으로서, 고온에서 성립하는 식이다. | 이는 [[물리:복제_대칭_해|복제 대칭 해]]에서 얻은 결과와 동일한 것으로서, 고온에서 성립하는 식이다. |
| | |
| | =====$p$-스핀 유리 모형===== |
| | [[물리:p-스핀_유리_모형|$p$-스핀 유리 모형]]은 [[물리:셰링턴-커크패트릭_모형|셰링턴-커크패트릭 모형]]를 일반화하여 $p$개의 스핀이 함께 상호작용하는 모형이다. |
| | 본래는 계 안에서 임의로 어떤 $p$개의 스핀을 잡아도 상호작용이 존재하는 모형이다. |
| | 그러나 근사식을 유도하기 위해 먼저 공간적으로 트리 구조를 이루고 있다고 가정하자. $p=3$을 예로 들어 어떤 변수 노드 $x_0$를 중심으로 인자 그래프를 그리면 다음과 같은 모양이 될 것이다. |
| | |
| | {{:수학:factor_graph6.png?400|}} |
| | |
| | \begin{eqnarray*} |
| | p(x_0) &=& \left[\sum_{x_1,x_2} f_{(0,1,2)}(x_0,x_1,x_2) \mu_{1\to(0,1,2)}(x_1) \mu_{2\to(0,1,2)}(x_2) \right] \times \left[\sum_{x_3,x_4} f_{(0,3,4)}(x_0,x_3,x_4) \mu_{3\to(0,3,4)}(x_3) \mu_{4\to(0,3,4)}(x_4) \right]\\ |
| | && \times \left[\sum_{x_5,x_6} f_{(0,5,6)}(x_0,x_5,x_6) \mu_{5\to(0,5,6)}(x_5) \mu_{6\to(0,5,6)}(x_6) \right] \times \left[\sum_{x_7,x_8} f_{(0,7,8)}(x_0,x_7,x_8) \mu_{7\to(0,7,8)}(x_7) \mu_{8\to(0,7,8)}(x_8) \right] \times f_{(0)} (x_0) |
| | \end{eqnarray*} |
| | |
| | 정규화가 미리 되어있지 않다고 하면 분모에 정규화 상수를 써주고 스핀에 대한 표기법으로 적어주자. 모든 스핀이 연결된 상황에서도 위의 식이 성립한다고 보기 때문에 근사식이다. 편의상 $p=3$이라고 하고 적은 다음 일반화할 것이다. 그리고 앞 절과 달리, 평균 $0$이고 분산이 $J^2 p! / N^{p-1}$인 정규분포에서 무작위로 결합상수들을 추출하였다고 가정하여 $N$에 대한 의존성을 결합상수 안에 집어넣을 것이다. 결합상수에 달린 인덱스에 중복이 있으면 모두 $0$으로 간주한다. 즉 $J_{iij} = J_{ijj} = \ldots = 0$이다. 그리고 동일한 $p$ 스핀 집합을 여러 번 셈하는 일을 피하기 위해, 좌변에 고정된 $i$를 제외한 나머지 $k_1$, $k_2$ 등의 인덱스는 오름차순으로 정렬한다. |
| | \begin{eqnarray*} |
| | p(\sigma_i) &\approx& \frac{e^{\beta h \sigma_i} \prod_{k_1<k_2} \sum_{\sigma_{k_1}, \sigma_{k_2}} \exp \left( \beta J_{ik_1k_2} \sigma_i \sigma_{k_1} \sigma_{k_2} \right) \mu_{k_1\to (i,k_1,k_2)}(\sigma_{k_1}) \mu_{k_2\to (i,k_1,k_2)}(\sigma_{k_2})}{ \sum_{\tau = \pm 1} e^{\beta h \tau} \prod_{k_1<k_2} \sum_{\sigma_{k_1}, \sigma_{k_2}} \exp \left( \beta J_{ik_1k_2} \tau \sigma_{k_1} \sigma_{k_2} \right) \mu_{k_1\to (i,k_1,k_2)}(\sigma_{k_1}) \mu_{k_2\to (i,k_1,k_2)}(\sigma_{k_2})}. |
| | \end{eqnarray*} |
| | 메시지의 곱들로 정의되는 곱측도(product measure)에 대한 평균을 $\mathbb{E}_i$로 정의하자. $m_{k\to i} \equiv \mathbb{E}_i \sigma_k$이다. |
| | 이어 $\sigma_i$의 평균 $m_i = p(\sigma_i=+1) - p(\sigma_i = -1)$을 적어보면, |
| | \begin{eqnarray*} |
| | m_i &\approx& \frac{\mathbb{E}_i \sinh \left( \sum_{k_1<k_2} \beta J_{ik_1k_2} \sigma_{k_1} \sigma_{k_2} + \beta h \right) }{\mathbb{E}_i \cosh \left( \sum_{k_1<k_2} \beta J_{ik_1k_2} \sigma_{k_1} \sigma_{k_2} + \beta h \right)}. |
| | \end{eqnarray*} |
| | 이때 다음의 양을 정의하자. |
| | $$X_i \equiv \sum_{k_1<k_2} \beta J_{ik_1k_2} \left( \sigma_{k_1} \sigma_{k_2} - m_{k_1\to i} m_{k_2\to i} \right).$$ |
| | $N$이 충분히 클 때에 정규 분포를 따를 것이므로 $m_i$에 대한 식을 다음처럼 적을 수 있다: |
| | \begin{eqnarray*} |
| | m_i &\approx& \tanh \left( \beta h + \sum_{k_1<k_2} \beta J_{ik_1k_2} m_{k_1\to i} m_{k_2\to i} \right). |
| | \end{eqnarray*} |
| | $\tanh$ 안에 있는 식들을 정리하기 위해 다음처럼 고쳐 적자: |
| | \begin{eqnarray*} |
| | m_k &\approx& \tanh \left( \beta h + \sum_{j_1<j_2} \beta J_{kj_1j_2} m_{j_1\to k} m_{j_2\to k} \right)\\ |
| | &=& \tanh \left( \beta h + \sum_{j_1<j_2\\j_1\neq i} \beta J_{kj_1j_2} m_{j_1\to k} m_{j_2\to k} + \sum_{j_2} \beta J_{kij_2} m_{i\to k} m_{j_2\to k} \right)\\ |
| | &\approx& \tanh \left( \beta h + \sum_{j_1<j_2\\j_1\neq i} \beta J_{kj_1j_2} m_{j_1\to k} m_{j_2\to k} \right) + \left( \sum_{j_2} \beta J_{kij_2} m_{i\to k} m_{j_2\to k} \right) \left[ 1 - \tanh^2 \left( \beta h + \sum_{j_1<j_2\\j_1\neq i} \beta J_{kj_1j_2} m_{j_1\to k} m_{j_2\to k} \right) \right]\\ |
| | &\approx& m_{k\to i} + \left( \sum_{j_2} \beta J_{kij_2} m_{i\to k} m_{j_2\to k} \right) \left(1- m_{k\to i}^2 \right). |
| | \end{eqnarray*} |
| | 따라서 $m_{k\to i}$를 $m_k$와 보정항으로 근사하여 다음처럼 적을 수 있다: |
| | \begin{eqnarray*} |
| | m_{k\to i} &\approx& m_k - \left( \sum_j \beta J_{kij} m_i m_j \right) \left(1- m_k^2 \right)\\ |
| | &=& m_k - \left[ \beta \left(1- m_k^2 \right) \right] \left( m_i \sum_j J_{kij} m_j \right)\\ |
| | &=& m_k - \chi_k h_{k\to i}. |
| | \end{eqnarray*} |
| | $m_k$에서 감해지고 있는 부분이 온사거 보정항에 해당한다. |
| | 일반적인 $p$에 대해서는 표현식들이 이렇게 정의된다: |
| | \begin{eqnarray*} |
| | \chi_k &\equiv& \beta \left(1 - m_k^2 \right)\\ |
| | h_{k\to i} &\equiv& m_i \sum_{j_3 <\ldots <j_p} J_{kij_3\ldots j_p} m_{j_3} \cdots m_{j_p}\\ |
| | &=& m_i \frac{1}{(p-2)!} \sum_{j_3, \ldots, j_p} J_{kij_3\ldots j_p} m_{j_3} \cdots m_{j_p}. |
| | \end{eqnarray*} |
| | 이제 이 결과들을 $m_i$에 대한 식에 다시 대입한다: |
| | \begin{eqnarray*} |
| | m_i &\approx& \tanh \left( \beta h + \sum_{k_2<\cdots<k_p} \beta J_{ik_2\ldots k_p} m_{k_2\to i} \cdots m_{k_p\to i} \right)\\ |
| | &\approx& \tanh \left[ \beta h + \sum_{k_2<\cdots<k_p} \beta J_{ik_2\ldots k_p} \left( m_{k_2} - \chi_{k_2} h_{k_2\to i} \right) \cdots \left( m_{k_p} - \chi_{k_p} h_{k_p\to i} \right) \right]\\ |
| | &=& \tanh \left[ \beta h + \frac{\beta}{(p-1)!} \sum_{k_2, \ldots, k_p} J_{ik_2 \ldots k_p} \left( m_{k_2} - \chi_{k_2} h_{k_2\to i} \right) \cdots \left( m_{k_p} - \chi_{k_p} h_{k_p\to i} \right) \right]. |
| | \end{eqnarray*} |
| | 전개 후 결합상수의 낮은 차수에 대해서만 남겨두면 다음과 같고 |
| | \begin{eqnarray*} |
| | \frac{\beta}{(p-1)!} \sum_{k_2, \ldots, k_p} J_{ik_2 \ldots k_p} \left( m_{k_2} - \chi_{k_2} h_{k_1\to i} \right) \cdots \left( m_{k_p} - \chi_{k_p} h_{k_p\to i} \right) |
| | &\approx& \frac{\beta}{(p-1)!} \sum_{k_2, \ldots, k_p} J_{ik_2 \ldots k_p} m_{k_2} \cdots m_{k_p} - \frac{\beta}{(p-1)!} \sum_{i,k_2, \ldots, k_p} J_{ik_2 \ldots k_p} \left( \chi_{k_2} h_{k_2\to i} m_{k_3} \cdots m_{k_p} + \ldots + \chi_{k_p} h_{k_p\to i} m_{k_2} \cdots m_{k_{p-1}} \right) |
| | \end{eqnarray*} |
| | 이 중 마지막 항은 다음처럼 고쳐 쓸 수 있다: |
| | \begin{eqnarray*} |
| | &&\frac{\beta}{(p-1)!} \sum_{k_2, \ldots, k_p} J_{ik_2 \ldots k_p} \left( \chi_{k_2} h_{k_2\to i} m_{k_3} \cdots m_{k_p} + \ldots + \chi_{k_p} h_{k_p\to i} m_{k_2} \cdots m_{k_{p-1}} \right)\\ |
| | &\approx& \frac{\beta}{(p-1)!} \sum_{k_2, \ldots, k_p} J_{ik_2 \ldots k_p} m_{k_3} \cdots m_{k_p} \times (p-1) \chi_{k_2} h_{k_2\to i}\\ |
| | &=& \frac{\beta}{(p-2)!} \sum_{k_2, \ldots, k_p} J_{ik_2 \ldots k_p} m_{k_3} \cdots m_{k_p} \times \chi_{k_2} h_{k_2\to i} \\ |
| | &=& \frac{\beta^2}{(p-2)!} \sum_{k_2, \ldots, k_p} J_{ik_2 \ldots k_p} m_{k_3} \cdots m_{k_p} \times \left(1-m_{k_2}^2 \right) \left[ m_i \frac{1}{(p-2)!} \sum_{j_3 \ldots j_p} J_{k_2ij_3\ldots j_p} m_{j_3} \cdots m_{j_p} \right]\\ |
| | &=& \frac{\beta^2 m_i}{\left[(p-2)!\right]^2} \sum_{k_2} \left(1-m_{k_2}^2 \right) \left[ \sum_{k_3,\ldots, k_p} J_{ik_2 \ldots k_p} m_{k_3} \cdots m_{k_p} \right]^2. |
| | \end{eqnarray*} |
| | 마지막의 $\left[ \ldots \right]^2$에서, 대각항들은 제곱의 합이어서 양의 기여를 하는 반면 교차항들은 +/-의 난수이므로 평균적으로 상쇄되어 사라진다: |
| | \begin{eqnarray*} |
| | \left[ \sum_{k_3,\ldots, k_p} J_{ik_2 \ldots k_p} m_{k_3} \cdots m_{k_p} \right]^2 &\approx& (p-2)! \sum_{k_3,\ldots, k_p} J_{ik_2 \ldots k_p}^2 m_{k_3}^2 \cdots m_{k_p}^2. |
| | \end{eqnarray*} |
| | 순열(permutation)에 대해 대칭적인 항들이 좌변의 합에는 $\left[(p-2)!\right]^2$개 등장하는 반면 우변의 합에서는 $(p-2)!$개만 등장하므로 그 앞에 $(p-2)!$을 써주었다. |
| | |
| | 이제 결과들을 모아서 써보자. |
| | \begin{eqnarray*} |
| | m_i &\approx& \tanh \left[ \beta h + \frac{\beta}{(p-1)!} \sum_{k_2, \ldots, k_p} J_{ik_2 \ldots k_p} m_{k_2} \cdots m_{k_p} - \frac{\beta^2 m_i}{\left[(p-2)!\right]^2} \sum_j \left(1-m_j^2 \right) (p-2)! \sum_{k_3,\ldots, k_p} J_{ij k_3 \ldots k_p}^2 m_{k_3}^2 \cdots m_{k_p}^2 \right]\\ |
| | &\approx& \tanh \left[ \beta h + \frac{\beta}{(p-1)!} \sum_{k_2, \ldots, k_p} J_{ik_2 \ldots k_p} m_{k_2} \cdots m_{k_p} - \frac{\beta^2 m_i}{(p-2)!} \sum_j \left(1-m_j^2 \right) \sum_{k_3,\ldots, k_p} J_{ij k_3 \ldots k_p}^2 m_{k_3}^2 \cdots m_{k_p}^2 \right] |
| | \end{eqnarray*} |
| | $N$이 클 때 $J_{ijk_3 \ldots k_p}$는 $m_j, m_{k_3},\ldots, m_{k_p}$ 등과 무관하므로, |
| | $$q \equiv \frac{1}{N} \sum_{i=1}^N m_i^2$$ |
| | 으로 정의하면 상관함수는 모두 쪼개져서 다음처럼 쓰여진다: |
| | $$\frac{1}{N} \sum_{k_p} J_{ijk_3 \ldots k_p}^2 m_{k_p}^2 \approx \langle J_{ijk_3 \ldots k_p}^2 \rangle \langle m_{k_p}^2 \rangle = \frac{J^2 p!}{2N^{p-1}}q.$$ |
| | 결론적으로, |
| | \begin{eqnarray*} |
| | m_i &\approx& \tanh \left\{ \beta h + \frac{\beta}{(p-1)!} \sum_{k_2, \ldots, k_p} J_{ik_2 \ldots k_p} m_{k_2} \cdots m_{k_p} - \frac{\beta^2 m_i}{(p-2)!} \sum_j \left[ \left(1-m_j^2 \right) \frac{J^2 p!}{2N^{p-1}} N^{p-2} q^{p-2} \right] \right\}\\ |
| | &=& \tanh \left[ \beta h + \frac{\beta}{(p-1)!} \sum_{k_2, \ldots, k_p} J_{ik_2 \ldots k_p} m_{k_2} \cdots m_{k_p} - m_i (\beta J)^2 \frac{p(p-1)}{2} (1-q) q^{p-2} \right]. |
| | \end{eqnarray*} |
| | |
| | $\partial q/\partial m_i = 2m_i / N$에 유의하면, $h=0$일 때 위의 식은 아래의 자유 에너지 밀도 $f$를 $m_i$로 미분하여 얻는 결과와 같다: |
| | \begin{eqnarray*} |
| | \beta f &=& \frac{1}{2N} \sum_i \left[ (1+m_i) \ln \left( \frac{1+m_i}{2} \right) + (1-m_i) \ln \left( \frac{1-m_i}{2} \right) \right] - \frac{\beta}{N} \sum_{i_1<\cdots<i_p} J_{i_1 \ldots i_p} m_{i_1} \cdots m_{i_p} - \frac{(\beta J)^2}{4} \left[ (p-1)q^p - pq^{p-1} + 1 \right]. |
| | \end{eqnarray*} |
| | 가장 마지막의 $+1$은 $m_i$로의 미분에 영향을 주지 않지만, 이것을 더함으로써 $\forall m_i=0$일 때 [[물리:p-스핀_유리_모형|$p$-스핀 유리 모형]]의 복제 대칭 해에서 얻는 $f$와 같은 결과를 얻는다. |
| | |
| | |
| ======같이 보기====== | ======같이 보기====== |
| * [[물리:tap_방정식|TAP 방정식]] | * [[물리:tap_방정식|TAP 방정식]] |
| * [[물리:셰링턴-커크패트릭_모형|셰링턴-커크패트릭 모형]] | * [[물리:셰링턴-커크패트릭_모형|셰링턴-커크패트릭 모형]] |
| | * [[물리:p-스핀_유리_모형|$p$-스핀 유리 모형]] |
| | * [[물리:구면_p-스핀_유리_모형|구면 $p$-스핀 유리 모형]] |
| ======참고문헌====== | ======참고문헌====== |
| * Christopher Bishop, //Pattern Recognition and Machine Learning// (Springer, New York, 2006). | * Christopher Bishop, //Pattern Recognition and Machine Learning// (Springer, New York, 2006). |
| * Marc Mézard and Andrea Montanari, //Information, Physics, and Computation// (Oxford University Press, Oxford, 2009). | * Marc Mézard and Andrea Montanari, //Information, Physics, and Computation// (Oxford University Press, Oxford, 2009). |
| * https://mlg.eng.cam.ac.uk/teaching/4f13/2526/ | * https://mlg.eng.cam.ac.uk/teaching/4f13/2526/ |
| | * H. Rieger, // The number of solutions of the Thouless-Anderson-Palmer equations for p-spin-interaction spin glasses//, [[https://doi.org/10.1103/PhysRevB.46.14655|Phys. Rev. B 46, 14655 (1992)]]. |