======TAP 방정식====== 복제본 트릭 없이 스핀 유리의 성질을 이해하기 위해 사울레스, 앤더슨, 그리고 팔머가 개발한 이론 틀. ====== 셰링턴-커크패트릭 모형 ====== [[물리:셰링턴-커크패트릭 모형|셰링턴-커크패트릭 모형]]에 대해서 [[신경망:공동_방법|공동 방법(cavity method)]]으로 유도할 수 있다. 기본적인 아이디어는, $N$개의 스핀(spin)으로 이루어진 계에서 $N+1$개의 스핀으로 이루어진 계로 변화시키면서도 그러한 두 계에서 얻는 관측 가능량(observables)이 열역학적 극한에서 차이가 없어야 한다는 점을 이용하는 것이다. ===== 유도 과정 ===== ==== 국소장 ==== 관측 가능량 중 하나로서 '국소적 자화량(local magnetization)'을 $m_0 = \langle s_0 \rangle$라고 표기한다면, 이는 한 곳에 대한 열적 평균(thermal average)을 내린 값이다. 이때, 원래 $N$개의 스핀으로 이루어진 계에 $s_0$를 추가하는 상황을 생각해보자. ($s_0$는 위치 $0$에 추가된 스핀을 의미하는 관습적인 표기법이다.) $s_0$를 추가함에 따라 $N+1$개의 스핀들로 이루어진 계로 변화하였다. 추가된 스핀의 국소적 자화량은 $m_0=\langle s_0 \rangle$이다. 이번 글에서의 최종 목표는, 이러한 국소적 자화량이 TAP 방정식을 만족함을 보이는 것이다. 국소적 자화량에 대한 평균인 $\langle s_0 \rangle$을 얻기 위해서는, 국소적 스핀에 대한 분포함수 $P(s_0)$를 얻으면 된다. 이어지는 논의에서는 편의상 외부 자기장은 없다고 가정하여 $h_i=0$이라고 하자. 스핀 $s_0$가 추가되어 계의 크기가 $N+1$이 되었을 때의 확률분포는 다음처럼 기술된다: \[ P \left(\vec{s}, s_0\right) \propto \exp\left[ -\beta H_N (\vec{s}) + \beta \sum_j J_{0j} s_0 s_j \right] = e^{\beta s_0 \tilde{h}_0} \exp\left[ -\beta H_N (\vec{s}) \right]. \] 여기에서 $\vec{s} \equiv (s_1, \ldots, s_N)$이고, $\tilde{h}_0$는 다른 스핀들이 $s_0$의 자리에 미치는 국소장으로서 다음처럼 정의되고 $$ \tilde{h}_0 \equiv \sum_{j=1}^N J_{0j} s_j.$$ 공동 장(cavity field)라고도 불린다. $s_0$ 없이 $N$개의 스핀 $\vec{s}$에 대한 분포 함수는 위 식에서 $s_0=0$을 대입하면 된다: \[ P \left(\vec{s}, s_0=0\right) \propto \exp\left[-\beta H_N (\vec{s}) \right]. \] /* 스핀 $s_0$가 추가되므로 그의 이웃인 스핀 $s_j$들의 상호작용을 고려해야 한다. $s_0$와 $\tilde{h}_0 $의 결합 분포 $P(s_0,\tilde{h}_0)$를 구한 후에, 그를 통해 $s_0$와 $\tilde{h}_0$의 열적 평균 값을 구하면 될 것이다. $s_0$에 의해 스핀 $N$개에서 $N+1$개로 변한다면, 에너지 $E^{(N)}$에서 $E^{(N+1)}$로 다음과 같이 변한다: \begin{eqnarray*} s_0 = 1, &~~& E^{(N+1)}=E^{(N)}-\beta \tilde{h}_0 \\ s_0 = -1, &~~& E^{(N+1)}=E^{(N)}+\beta \tilde{h}_0. \end{eqnarray*} 즉 우리가 구하고자 하는 $P(s_0,\tilde{h}_0)$는 다음과 같이 표현될 것이다: $$ P(s_0,\tilde{h}_0) \propto \ e^{\beta \tilde{h}_0 s_0} P(\tilde{h}_0 \setminus s_0).$$ 여기에서 $P(\tilde{h}_0 \setminus s_0)$는 $s_0$가 식에 포함되지 않은 확률 분포를 말한다. 더 자세하게 표현하자면, $P(\tilde{h}_0 \setminus s_0)$는 ($s_0$가 없을 때) $\tilde{h}_0$에 대한 확률 분포의 식이며, $e^{\beta \tilde{h}_0 s_0}$은 $N+1$의 계를 기술하기 위해 $P(\tilde{h}_0 \setminus s_0)$에 포함되었다. 이제 $ P(\tilde{h}_0 \setminus s_0)$의 식을 나타낼 수 있다면, 공동 방법의 기본적인 아이디어를 통해서 TAP 방정식을 얻는 것이 가능하다. */ ==== 추가 스핀이 없을 때 국소장의 분포 ==== $s_0$가 없을 때 $\tilde{h}_0$의 확률분포를 $P\left(\tilde{h}_0 \setminus s_0\right)$라 하자. 만약 격자 구조가 아래와 같은 베테 격자 구조라면, $P\left(\tilde{h}_0 \setminus s_0\right)$에 대해 중심 극한 정리를 적용할 수 있다. 왜냐하면 위치 $0$의 $s_0$에 연결된 각각의 이웃 위치 $j$에 대한 $J_{0j} s_j$는 '$s_0$의 정보가 제외된다면' 서로 독립적이기 때문이다. {{:물리:tap_bethe_edited.png?300|}} (위의 베테 격자 그림에서 $s_0$를 감싸는 공동(cavity)을 생각하고 $s_0$가 없는 상황을 떠올리면 보다 이해하기 쉽다. 그 상황에서 스핀의 개수는 $N$개 이다.) 이때 서로 다른 위치에 대한 상관관계가 약한 [[물리:셰링턴-커크패트릭_모형|셰링턴-커크패트릭 모형]]에 대해서도 이러한 가정을 도입할 수 있다고 하자. 즉, 독립적이고 동일하게 분포된(independent and identically distributed) $J_{0j} s_j$에 대해서, $s_0$가 식에 포함되지 않는 $\tilde{h}_0$의 분포는 ($N$이 증가함에 따라) 정규 분포를 따를 것이다. 즉 다음과 같은 형태로 표현 가능하다: $$ P\left(\tilde{h}_0 \setminus s_0\right)=\frac{1}{\sqrt{2\pi V_0}} \exp \left[ -\frac{(\tilde{h}_0 - \langle \tilde{h}_0 \rangle_{\setminus 0})^2}{2V_0}\right].$$ 이때 $h$는 공동 장의 평균으로서 다음처럼 정의되고: \[\langle \tilde{h}_0 \rangle_{\setminus 0} = \sum_{j=1}^N J_{0i} \langle s_i \rangle_{\setminus 0}\] $V_0$는 국소장의 분산이다. 아래 첨자 $\setminus 0$는 스핀 $s_0$를 제외한 $N$개의 스핀 $\vec{s}$를 가지는 계의 확률분포에 대해 평균하고 있음을 의미한다. 분산 $V_0$를 식으로 표현하면 아래와 같다. $$ \begin{align} V_0 &= \langle (\tilde{h}_0)^2\rangle_{\setminus 0} - \langle \tilde{h}_0 \rangle_{\setminus 0} ^2 \\ &=\sum_{j,k}J_{0j}J_{0k} \left(\langle s_j s_k\rangle_{\setminus 0} \ \ - \ \langle s_j\rangle_{\setminus 0} \langle s_k\rangle_{\setminus 0} \right). \end{align}$$ 이때 결합 상수의 분포함수에 주목하자: $$ P(J_{ij}) = \frac{1}{J}\sqrt{\frac{N}{2\pi}} \exp\left\{ - \frac{N}{2J^2}\left( J_{ij} - \frac{J_0}{N} \right)^2 \right\} .$$ 위의 식으로부터 $J_{ij}$의 기댓값은 $J_0/N$이며 분산은 $J^2/N$임을 알 수 있다. 편의상 $J_0 \equiv 0$이고 $J\equiv 1$이라고 놓자. 그러면 $J_{ij}$의 크기는 $1/\sqrt{N}$ 정도이다. 또 [[신경망:공동_방법|공동 방법]]의 가정은 $N\to\infty$의 극한에서 아래의 비선형 감수율(nonlinear susceptibility)이 유한하다는 것인데 \[ \chi_\text{nl} = \frac{1}{N} \sum_{i\beta V_0$) \begin{eqnarray*} \langle s_0 \rangle &=& \frac{\int ds_0 s_0 P\left(s_0\right)}{\int ds_0 P\left(s_0\right)} = \frac{\langle \tilde{h}_0 \rangle_{\backslash 0}}{r - \beta V_0}. \end{eqnarray*} 분산을 계산한다: \begin{eqnarray*} \langle \left( s_0 - \langle s_0 \rangle \right)^2 \rangle &=& \frac{\int ds_0 \left( s_0- \langle s_0 \rangle \right)^2 P\left(s_0\right)}{\int ds_0 P\left(s_0\right)} = \frac{1}{\beta \left(r - \beta V_0\right)} = 1-q. \end{eqnarray*} 마지막의 표현식은 구면 조건과 $q \equiv N^{-1} \sum_i m_i^2$의 정의로부터 나온다. 이것을 이용하면 $s_0$가 실제로 추가되었을 때 그 평균값인 $m_0 \equiv \langle s_0 \rangle$에 대한 또다른 표현식은, \begin{eqnarray*} \frac{m_0}{\beta(1-q)} &=& \langle \tilde{h}_0 \rangle_{\backslash 0} \approx \sum_{i_2<\ldots_{\backslash 0}$라고 하자. [[수학:인자_그래프|인자 그래프]]에서 다룬 바와 같이 \begin{eqnarray*} \Bigl< \left( \tilde{h}_i - \langle \tilde{h}_i \rangle_{\backslash 0} \right)^2 \Bigr>_{\backslash 0} &=& \langle \tilde{h}_i^2 \rangle_{\backslash 0} - \langle \tilde{h}_i \rangle_{\backslash 0}^2\\ &\approx& \frac{1}{\left[(p-2)!\right]^2} (p-2)! \sum_{i_3,\ldots,i_p} J_{0 i i_3 \ldots i_p}^2 \left( \langle s_{i_3}^2 \rangle_{\backslash 0} \cdots \langle s_{i_p}^2 \rangle_{\backslash 0} - \langle s_{i_3} \rangle_{\backslash 0}^2 \cdots \langle s_{i_p}\rangle_{\backslash 0}^2 \right)\\ &\approx& \frac{1}{(p-2)!} \sum_{i_3,\ldots,i_p} \frac{p!}{2N^{p-1}} \left( 1 - q^{p-2} \right)\\ &=& \frac{1}{(p-2)!} N^{p-2} \frac{p!}{2N^{p-1}} \left( 1 - q^{p-2} \right)\\ &=& \frac{p(p-1)}{2N} \left( 1 - q^{p-2} \right). \end{eqnarray*} 마찬가지로 스핀 $s_0$가 없을 때 $\tilde{h}_i'$의 평균과 분산을 각각 $\langle \tilde{h}_i' \rangle_{\backslash 0}$과 $\Bigl< \left( \tilde{h}_i' - \langle \tilde{h}_i' \rangle_{\backslash 0} \right)^2 \Bigr>_{\backslash 0}$라고 하자. 셈에서 스핀 $i$가 빠지기는 하지만 $N$이 매우 크다면 이 계산은 사실상 위에서 했던 $V_0$의 계산과 같아진다. 따라서 $$\Bigl< \left( \tilde{h}_i' - \langle \tilde{h}_i' \rangle_{\backslash 0} \right)^2 \Bigr>_{\backslash 0} = \frac{p}{2} \left( 1- q^{p-1} \right).$$ 끝으로, 스핀 $s_0$가 없을 때에 $s_i$는 평균 $\langle s_i \rangle_{\backslash 0}$와 분산 $1-q$를 가진다. $s_0$를 계에 추가하고 $s_0$, $s_i$, $\tilde{h}_i$, 그리고 $\tilde{h}_i'$의 결합 확률을 구하자. 앞서와 마찬가지로 $s_0$가 없을 때의 확률분포를 먼저 적고 나서 $s_0$로 인한 볼츠만 인자 $\exp\left( -\beta r s_0^2/2 + \beta h s_0\right)$를 곱하는 식으로 할 것이다. $s_0$가 없을 때, $\tilde{h}_0$를 구성하는 $s_i$, $\tilde{h}_i$, 그리고 $\tilde{h}_i'$들은 서로 독립적인 난수라고 가정한다. \begin{eqnarray*} P\left(s_0, s_i, \tilde{h}_i, \tilde{h}_i' \right) &\propto& \exp\left[ -\frac{\beta r}{2} s_0^2 + \beta s_0 \left(s_i \tilde{h}_i + \tilde{h}_i' \right) - \frac{\left( s_i - \langle s_i \rangle_{\backslash 0} \right)^2}{2(1-q)} - N \frac{\left( \tilde{h}_i - \langle \tilde{h}_i \rangle_{\backslash 0} \right)^2}{p(p-1)\left( 1-q^{p-1} \right)} - \frac{\left( \tilde{h}_i' - \langle \tilde{h}_i' \rangle_{\backslash 0} \right)^2}{p\left( 1-q^{p-1} \right)} \right]. \end{eqnarray*} 주변화를 거치면 아래와 같은 적분 결과를 얻고 \begin{eqnarray*} P\left(s_0, s_i \right) &=& \int d\tilde{h}_i d\tilde{h}_i' P\left(s_0, s_i, \tilde{h}_i, \tilde{h}_i' \right)\\ &\propto& \exp\left[ -\frac{\beta r}{2}s_0^2+\frac{p\beta^2}{4}\left(1-q^{p-1}\right) s_0^2 + \beta s_0 \left( s_i \langle \tilde{h}_i \rangle_{\backslash 0} + \langle \tilde{h}_i' \rangle_{\backslash 0} \right)-\frac{\left(s_i-\langle s_i \rangle_{\backslash 0}\right)^2}{2(1-q)} -\frac{1}{4N}\beta^2 (1-p)p \left(1-q^{p-1}\right) s_0^2 s_i^2 \right]\\ &\approx& \exp\left[ -\frac{s_0^2}{2(1-q)} + \beta s_0 \left( s_i \langle \tilde{h}_i \rangle_{\backslash 0} + \langle \tilde{h}_i' \rangle_{\backslash 0} \right)-\frac{\left(s_i-\langle s_i \rangle_{\backslash 0}\right)^2}{2(1-q)} \right], \end{eqnarray*} 지수 중 $N^{-1}$에 비례하는 항은 $N\to\infty$에서 무시했다. 이제 주변화로 $P(s_i) = \int ds_0 P(s_0, s_i)$를 얻은 다음 $\langle s_i \rangle$을 $\tilde{h}_i \sim O\left(N^{-1/2}\right)$의 일차항까지 계산해보면, \begin{eqnarray*} \langle s_i \rangle &=& \frac{\int ds_i ~s_i P\left( s_i \right)}{\int ds_i P\left( s_i \right)} = \frac{\langle s_i \rangle_{\backslash 0} + \beta^2 (1-q)^2 \langle \tilde{h}_i \rangle_{\backslash 0} \langle \tilde{h}_i' \rangle_{\backslash 0}}{1-\beta^2(1-q)^2 \langle \tilde{h}_i \rangle_{\backslash 0}^2} \approx \langle s_i \rangle_{\backslash 0} + \beta^2 (1-q)^2 \langle \tilde{h}_i \rangle_{\backslash 0} \langle \tilde{h}_i' \rangle_{\backslash 0}\\ &=& \langle s_i \rangle_{\backslash 0} + \beta (1-q) \langle s_0 \rangle \langle \tilde{h}_i' \rangle_{\backslash 0}\\ &\approx& \langle s_i \rangle_{\backslash 0} + \beta (1-q) \langle s_0 \rangle \sum_{i_3<\ldots