TAP(Thouless-Anderson-Palmercavity)방정식은 '셰링턴-커크패트릭 모형'에 대해서 공동 방법(cavity method)으로 유도할 수 있다.

$$ \\ $$ 기본적인 아이디어는, $N$개의 스핀(spin)으로 이루어진 계에서 $N+1$개의 스핀으로 이루어진 계로 변화 시키면서도

그러한 두 계에서 얻는 관측 가능량(observables)이 '열역학적 극한'에서 차이가 없어야 한다는 점을 이용하는 것이다.

$$ \\ $$

관측 가능량 중 하나로서 '국소적 자화량(local magnetization)'을 $m_i = \langle S_i \rangle$라고 표기한다면, 이는 한 곳에 대한 열적 평균(thermal average)을 내린 값이다.

이번 글에서의 최종 목표는, 이러한 국소적 자화량이 TAP 방정식을 만족함을 보이는 것이다.

$$ \\ $$ 이어지는 논의에서는 편의상 외부 자기장은 없다고 하여 그에 따라 $h_i=0$이라고 하자.

$$ \\ $$ 국소적 자화량에 대한 평균인 $\langle S_i \rangle$을 얻기 위해서는, 국소적 스핀에 대한 분포함수 $P_i(S_i)$를 얻으면 되는데

이를 구하기 위해서 아래의 국소장(local field)을 먼저 고려하자.

$$ \tilde{h}_i = \sum_{j} J_{ij}S_j $$

즉, 이는 스핀 $S_i$와 이웃인 스핀 $S_j$들에 대한 장(field)이다.

그렇다면 $S_i$와 $\tilde{h}_i $의 결합 분포(joint distribution)는 다음과 같이 표현될 것이다.

$$ P(S_i, \tilde{h}_i ) \propto e^{\beta \tilde{h}_i S_i}P(\tilde{h}_i ＼ S_i)$$

$P(\tilde{h}_i ＼ S_i)$는 '$S_i$가 계로부터 제거되었을 때'에 해당하는 $ \tilde{h}_i$의 분포이다.

이러한 상황을 표현해볼 때, 모든 $j$에 대해서 $J_{ij}=0$인 경우이므로 $\tilde{h}_i$의 정의에 혼동이 생길 수 있지만

아래의 함수 식을 살펴보면 더 원활히 이해할 수 있다.

$$ P(\tilde{h}_i＼S_i)\equiv \text{Tr}_{S＼S_i}\ \delta\left(\tilde{h}_i - \sum_j J_{ij}S_j\right) P(\boldsymbol{S}＼S_i)$$

여기서 $P(\boldsymbol{S}＼S_i)$는 $S_i$가 제외된 전체 계에 대한 확률 분포이다.

$$ \\ $$ 즉, 위의 식에서 $P(\boldsymbol{S}＼S_i)$가 $S_i$를 제외하는 기여를 하는 확률 분포이며, $\delta\left(\tilde{h}_i - \sum_j J_{ij}S_j\right)$의 디랙-델타 함수는 $\tilde{h}_i=\sum_j J_{ij}S_j$라는 정보를 포함하는 분포이다.

$$ \\ $$ 주목할 점은, $S_i$가 제외되는 순간에 $J_{ij}S_j$가 서로 다른 $j$에 대해서 독립적이라는 것이다.

이러한 현상은 스핀 모형의 격자 구조가 베테 격자(Bethe lattice)와 같은 나뭇가지 구조(tree structure)인 형태일 때 갖는 특징과 같다.

$$ \\ $$ 보다 직관적인 이해를 위해 베테 격자의 그림으로 나타내자면, 위의 식을 다음과 같이 이해할 수 있다.

아래 그림의 상황은 원래의 스핀 $N$개로 이루어진 계에 한 개의 스핀을 추가함으로써 아래의 그림과 같은 변화가 생기도록 한 것과 같다.

왼쪽의 경우가 원래 스핀 $N$개의 계이며, 오른쪽의 경우는 스핀 한개를 추가함으로써 $N+1$개가 된 계이다.

$$ \\ $$ 우리가 구하고자 하는 $P_i(S_i)$는 다음과 같이 표현될 것이다.

$$ P_i(S_i) \propto \int d \tilde{h}_i \ e^{\beta \tilde{h}_i S_i} P(\tilde{h}_i ＼S_i)$$

따라서 $ P(\tilde{h}_i ＼S_i)$의 식을 얻을 수 있다면, 공동 방법(cavity method)의 기본적인 아이디어를 통해서 'TAP 방정식'을 얻는 것이 가능하다.

$$ \\ $$

이때, 우리가 위에서 스핀이 존재하는 격자 구조를 베테 격자(Bethe lattice)와 같이 이해했으므로

$P(\tilde{h}_i ＼ S_i)$에 대해 '중심 극한 정리(central limit theorem)'를 적용할 수 있다.

$$ \\ $$ 왜냐하면 앞서 본 아래의 그림처럼, 스핀이 제거됨과 동시에 독립적(independent)으로 분리되는 성질이 있기 때문이다.

즉, 독립적이고 동일하게 분포된(independent and identically distributed) $J_{ij}S_j$에 대해서,

$S_i$가 제거된 경우의 '공동 장(cavity field)'인 $\tilde{h}_i$의 분포는 ($N$이 증가함에 따라) 가우스 분포(Gaussian distribution)인 것을 알 수 있다.

$$ \\ $$ 즉, 다음과 같은 형태로 표현 가능하다.

$$ P(\tilde{h}_i ＼ S_i)=\frac{1}{\sqrt{2\pi V_i}} \exp \left[ -\frac{(\tilde{h}_i - \langle \tilde{h}_i\rangle _{＼i})^2}{2V_i}\right]$$

위의 식에서 $V_i$는 국소장의 분산(variance)이다.

분산 $V_i$를 식으로 표현하면 아래와 같다.

$$ \begin{align} V_i &= \langle (\tilde{h}_i)^2\rangle - \langle \tilde{h}_i \rangle ^2 \\ &=\sum_{j,k}J_{ij}J_{ik}(\langle S_jS_k\rangle_{＼i} \ \ - \ \langle S_j\rangle_{＼i} \langle S_k\rangle_{＼i} ) \end{align}$$ $$
$$ 이때, '셰링턴-커크패트릭 모형'의 분포함수를 고려하자. $$ P(J_{ij}) = \frac{1}{J}\sqrt{\frac{N}{2\pi}} \exp\left\{ - \frac{N}{2J^2}\left( J_{ij} - \frac{J_0}{N} \right)^2 \right\} $$ 위의 식으로부터 $J_{ij}$의 기댓값은 $\frac{J_0}{N}$이며 분산은 $\frac{J^2}{N}$임을 알 수 있다.

따라서 $N \to \infty$인 경우에는 $V_i=\sum_{j,k}J_{ij}J_{ik}(\langle S_jS_k\rangle_{＼i} \ \ - \ \langle S_j\rangle_{＼i} \langle S_k\rangle_{＼i} )$의 식에서 $j=k$인 경우만이 살아남는다는 것을 알 수 있다.

그 결과는 다음과 같이 표현 된다.

$$ V_i \approx \sum_j J_{ij}^2(1-\langle S_j \rangle^2 _{＼i} \approx \sum_j J_{ij}^2(1-\langle S_j \rangle^2 = \sum_j J_{ij}^2 (1-m_j ^2) $$

이와 같이 국소장의 분산 $V_i$을 얻었으므로 $ P_i(S_i) \propto \int d \tilde{h}_i \ e^{\beta \tilde{h}_i S_i} P(\tilde{h}_i ＼S_i)$의 관계를 이용하여 $m_i$를 구하면 된다.

$$ \\ $$

$S_i$는 $1$ 또는 $-1$의 이산적인 값을 가지므로, $m_i$를 다음과 같이

분배함수를 포함한 대각합(trace, $\text{Tr}$)으로 계산할 수 있다.

$$m_i= \sum_{S_i=\pm1} \frac{P(S_i)}{P(S_i=1)+P(S_i=-1)}S_i$$

이때, 위에서 설명한 식에 따라서 $P(S_i)$는 다음과 같이 표현된다. $$ \begin{align} P(S_i) & \propto \int d \tilde{h}_i \ \exp[{\beta \tilde{h}_i S_i}] P(\tilde{h}_i ＼S_i) \\ & = \int d\tilde{h}_i \frac{1}{\sqrt{2\pi V_i}} \exp[{\beta \tilde{h}_i S_i}] \exp \left[ -\frac{(\tilde{h}_i - \langle \tilde{h}_i\rangle _{＼i})^2}{2V_i}\right]\\ & = \frac{1}{\sqrt{2\pi V_i}} \int d\tilde{h}_i \exp\left[-\frac{(\tilde{h}_i - \langle \tilde{h}_i\rangle _{＼i})^2}{2V_i} +\beta \tilde{h}_i S_i \right] \\ &= \frac{1}{\sqrt{2\pi V_i}} \int d\tilde{h}_i \exp\Biggl[ -\frac{1}{2V_i}\left(\tilde{h}_i^2 -2\tilde{h}_i\langle \tilde{h_i} \rangle_{＼i} +\langle \tilde{h_i} \rangle_{＼i}^2 -2V_i\beta S_i \tilde{h}_i \right) \Biggr]\\ &=\frac{1}{\sqrt{2\pi V_i}} \int d\tilde{h}_i \exp\Biggl[ -\frac{1}{2V_i}\Bigl(\tilde{h}_i^2 -2\tilde{h}_i(\langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i) \\ &\qquad \qquad +(\tilde{h}_i\langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i) ^2-(\tilde{h}_i\langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i) ^2 +\langle \tilde{h_i} \rangle_{＼i}^2 \Bigr) \Biggr]\\ &=\frac{1}{\sqrt{2\pi V_i}} \int d\tilde{h}_i \exp\Biggl[ -\frac{1}{2V_i}\Bigl( \tilde{h}_i -(\langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i)\Bigr)^2\Biggr]\\ &\qquad \qquad \qquad × \exp\Biggl[-\frac{1}{2V_i}\Bigl(-( \langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i) ^2 +\langle \tilde{h_i} \rangle_{＼i}^2 \Bigr)\Biggr]\\ &=\frac{1}{\sqrt{2\pi V_i}}\exp\Biggl[-\frac{1}{2V_i}\Bigl(-( \langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i) ^2 +\langle \tilde{h_i} \rangle_{＼i}^2 \Bigr)\Biggr] \sqrt{2\pi V_i}) \\ &=\exp\Biggl[-\frac{1}{2V_i}\Bigl(-( \langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i) ^2 +\langle \tilde{h_i} \rangle_{＼i}^2 \Bigr)\Biggr] \\ &=\exp\Biggl[ \frac{1}{2V_i}\Bigl( 2 \langle \tilde{h_i} \rangle_{＼i}V_i\beta S_i +(V_i\beta S_i)^2 \Bigr)\Biggr] \\ &=\exp\left[\frac{1}{2V_i}(V_i\beta)^2 \right]\exp\Bigl[ \beta \langle \tilde{h_i} \rangle_{＼i} S_i\Bigr] \end{align}$$ 이제 $P(S_i)$가 $\exp\Bigl[ \beta \langle \tilde{h_i} \rangle_{＼i} S_i\Bigr] $에 비례한다는 것을 얻었으므로, 아래와 같이 $m_i$룰 계산하자.

$$ \begin{align} m_i &= \sum_{S_i=\pm 1} \frac{1}{[\exp[\beta \langle \tilde{h_i} \rangle_{＼i} \ + \exp[-\beta \langle \tilde{h_i} \rangle_{＼i}]]} S_i\exp\bigl[ \beta \langle \tilde{h_i} \rangle_{＼i} S_i\bigr] \\ &=\tanh[\beta \langle \tilde{h_i} \rangle_{＼i}] \end{align} $$ 여기서 $\langle \tilde{h_i} \rangle_{＼i}$의 식을 얻으면 $m_i$를 온전히 표현할 수 있다.

$$ \\ $$ 이때, $\langle \tilde{h_i} \rangle_{＼i}$이 아닌 $\langle \tilde{h_i} \rangle$ 로서 '$S_i$를 제외 시키지 않은' 경우의 $\tilde{h}_i$의 기대값은 다음과 같이 쓸 수 있다.

$$ \langle \tilde{h}_i \rangle = \text{Tr}_{S_i} \int d\tilde{h}_i \tilde{h}_i P(S_i,\tilde{h}_i) $$

여기에서 (앞서 살펴본) $P(S_i,\tilde{h}_i) \propto e^{\beta\tilde{h}_i S_i}P(\tilde{h}_i ＼ S_i)$를 이용하면

다음과 같은 과정에 의해서 $\langle \tilde{h_i} \rangle$와 $\langle \tilde{h_i} \rangle_{＼i}$에 대한 관계식을 얻는다.

$$ \begin{align} \langle \tilde{h}_i \rangle &\propto \frac{1}{\sqrt{2\pi V_i}} \ \text{Tr}_{S_i} \int d\tilde{h}_i \tilde{h}_i\exp \Biggl[ -\frac{(\tilde{h}_i - \langle \tilde{h}_i\rangle _{＼i})^2}{2V_i} +\beta\tilde{h}_i S_i \Biggr]\\ &= \frac{1}{\sqrt{2\pi V_i}} \text{Tr}_{S_i} \int d\tilde{h}_i \tilde{h}_i \exp\Biggl[ -\frac{1}{2V_i}\Bigl( \tilde{h}_i -(\langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i)\Bigr)^2\Biggr]\\ &\qquad \qquad \qquad × \exp\Biggl[-\frac{1}{2V_i}\Bigl(-( \langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i) ^2 +\langle \tilde{h_i} \rangle_{＼i}^2 \Bigr)\Biggr]\\ &=\frac{1}{\sqrt{2\pi V_i}} \exp\left[\frac{1}{2V_i}(V_i\beta)^2 \right] × \\ &\text{Tr}_{S_i} \exp\Bigl[ \beta \langle \tilde{h_i} \rangle_{＼i} S_i\Bigr] \int d\tilde{h}_i \tilde{h}_i \exp\Biggl[ -\frac{1}{2V_i}\Bigl( \tilde{h}_i -(\langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i)\Bigr)^2\Biggr]\\ &=\frac{1}{\sqrt{2\pi V_i}} \exp\left[\frac{1}{2V_i}(V_i\beta)^2 \right] ×\\ &\text{Tr}_{S_i}\exp\Bigl[ \beta \langle \tilde{h_i} \rangle_{＼i} S_i\Bigr] \int d\tilde{h}_i \Bigl( \langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i \Bigr) \exp\Biggl[ -\frac{1}{2V_i}\Bigl( \tilde{h}_i -(\langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i)\Bigr)^2\Biggr]\\ &= \exp\left[\frac{1}{2V_i}(V_i\beta)^2 \right]\text{Tr}_{S_i} \exp\Bigl[ \beta \langle \tilde{h_i} \rangle_{＼i} S_i\Bigr] \Bigl(\langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i \Bigr) \\ &= \langle \tilde{h_i} \rangle_{＼i}+V_i\beta \langle S_i \rangle \end{align} $$ $$ \begin{align} \therefore \langle \tilde{h_i} \rangle &= \langle \tilde{h_i} \rangle_{＼i}+V_i\beta \langle S_i \rangle \\ &= \langle \tilde{h_i} \rangle_{＼i}+V_i\beta m_i \end{align}$$ 위의 유도 과정에서는 앞서서 계산한 적분 결과를 곧바로 사용하였고, $P(S_i) \propto \exp\left[\frac{1}{2V_i}(V_i\beta)^2 \right]\exp\Bigl[ \beta \langle \tilde{h_i} \rangle_{＼i} S_i\Bigr] $임을 적용하여 관계식을 등호로 바꿀 수 있었다.

$$ \\ $$ 이때 '$S_i$를 제외 시키지 않은' 경우에 해당하는 국소장의 기댓값은 $\langle \tilde{h_i} \rangle=\sum_j J_{ij} m_j$이므로

앞서 얻었던 식인 $m_i = \tanh[\beta \langle \tilde{h_i} \rangle_{＼i}]$은, 결론적으로 아래와 같다.

\begin{align} m_i &= \tanh\left[\beta \left( \langle \tilde{h_i} \rangle - V_i\beta m_i \right)\right] \\ &= \tanh\left[\beta \left( \sum_j J_{ij} m_j -\beta \sum_j J_{ij}^2 (1-m_j ^2)m_i \right)\right] \end{align}

위의 유도 결과는 TAP 방정식이라고 불린다.

$$ \\ $$

TAP 방정식은 고온의 영역에서만 옳은 결과를 준다는 한계가 있다.

$$ \\ $$ 왜냐하면, 우리가 유도 과정을 거칠 때에 사용하였던 주된 가정은 $\sum_{j,k} (\langle S_j S_k\rangle - \langle S_j \rangle \langle S_k \rangle)$이

$j \ne k$ 일 때는 $N \to \infty$에서 크게 기여하지 못한다는 가정이었다.

$$ \\ $$ 그러나, 저온의 영역에서는 $N \to \infty$에서도 $j,k$에 대해서 $(\langle S_j S_k\rangle - \langle S_j \rangle \langle S_k \rangle)$가 유한한 값을 가지므로

TAP 방정식이 정확히 옳은 결과를 주지는 못한다.

$$ \\ $$

TAP 방정식인 다음의 식을 다시 살펴보면

$$ m_i = \tanh\left[\beta \left( \sum_j J_{ij} m_j -\beta \sum_j J_{ij}^2 (1-m_j ^2)m_i \right)\right]$$

$-\beta \sum_j J_{ij}^2 (1-m_j ^2)m_i $의 항은 마치 '추가로 붙게 된 항'처럼 보인다.

사실, 이 항은 '상쇄'의 역할을 하며 중요한 의미를 갖는다.

$$ \\ $$ 자화량 $m_i$는 $j$의 위치에, '내부장(internal field)' $J_{ij}m_i$만큼의 영향을 준다.

그에 따라, 위치 $j$의 자화량 $m_j$는 $\chi_{jj}J_{ij}m_i$만큼 변하게 된다. $\chi_{jj}$는 다음과 같다.

$$ \chi_{jj} = \frac{\partial m_j}{\partial h_j} \Biggl|_{h_j \to 0}=\beta(1-m_j^2)$$ ($\chi$가 자기 감수율(magnetic susceptibility)이며, 그 값은 앞서 분산 $V_i$를 구할 때와 마찬가지의 방식으로 구할 수 있다.)

$$ \\ $$ 이때, 이렇게 변화한 $m_j$의 값에 의해서 $m_i$가 다시 영향을 받게 되는 값은 다음과 같다.

$$ J_{ij} \chi_{jj}J_{ij}m_i = \beta J_{ij}^2(1-m_j)^2 m_i$$ 그런데 이것을 발생시킨 $m_j$의 변화는 $m_i$에 의한 것이므로, 이러한 항의 효과는 제거해주어야 한다.

$$ \\ $$ TAP 방정식에서 $-\beta \sum_j J_{ij}^2 (1-m_j ^2)m_i $의 항이 해당 역할을 적절하게 수행하므로,

'Onsager의 반응장(reaction field)'으로 불린다.

$$ \\ $$

우리가 복제_대칭_해에서 살펴본 결과는 TAP 방정식을 이용해서도 유도가 가능하다.

우선, 상호작용인 $J_{ij}$를 강자성(ferromagnetic)에 대한 항과 난수(random)로 표현되는 항으로 분리하여 아래와 같이 나타내자.

$$ J_{ij} = \frac{J_0}{N} + \frac{J}{\sqrt{N}}z_{ij} $$

여기에서 $z_{ij}$는 가우스 랜덤 변수(Gaussian random variable)로서 평균이 $0$이며 분산을 $1$로 갖는 변수이다.

앞서 얻었던 $ \langle \tilde{h_i} \rangle = \langle \tilde{h_i} \rangle_{＼i}+V_i\beta m_i$의 식에 이를 대입하면 다음과 같다.

$$\langle \tilde{h_i} \rangle_{＼i} = \frac{J_0}{N}\sum_j m_j + \frac{J}{\sqrt{N}}\sum_j z_{ij}m_j - V_i \beta m_i $$

첫번째 항인 $\frac{J_0}{N}\sum_j m_j$는 $J_0 m$과 같으며, $m$은 강자성 질서 맺음 변수(order parameter)이다.

$$ \\ $$ 세번째 항의 역할은 Onsager의 reaction field에서 살펴본 '공동 보정(cavity correction)'의 효과를 주는 것이므로

두번째 항의 $ z_{ij}m_j$가 독립적인 '담금질' 랜덤 변수(indepedent 'quenched' random variable)인 것으로 가정할 수 있도록 한다.

$$ \\ $$ 이를 보다 자세히 설명하자면, $\langle \tilde{h_i} \rangle_{＼i}$를 표현하는 식의 의미는 '공동 장'의 평균으로서 $S_i$가 제거된 경우를 보는 것이므로

한 위치 $j$로 부터 발생하는 기여분은 또 다른 $j$로 부터 발생하는 기여분과 서로 간섭하지 않는다.

$$ \\ $$ 따라서 '중심 극한 정리'를 적용할 수 있고, $\sum_j z_{ij}m_j$가 가우스 분포를 따른다고 가정할 수 있다.

즉, 평균은 $0$이고, 그에 따라 분산은 다음과 같이 표현된다.

$$ \sum_j \sum_k [z_{ij}z_{ik}]m_j m_k = \sum_j m_j^2 = N q$$

그러므로 두번째 항은 가우스 담금질 랜덤 변수 $z$를 이용하여 $\sqrt{Nq}z$로서 표현이 가능하다.

$$ \\ $$ 이러한 결과들을 가지고서, $m_i = \tanh \left(\beta \langle \tilde{h_i} \rangle_{＼i} \right)$를 $z$의 분포에 대해서 평균을 내리면

$$ m= \int \text{D}z \tanh (\beta J_0 m + \beta J\sqrt{q}z) $$ 의 결과를 얻고, 이는 '복제 대칭 해'에 대해서 설명된 게시글에서 확인된 식과 같다.

$$ \\ $$

Hidetoshi Nishimori, Statistical Physics of Spin Glasses and Information Processing An Introduction, 2001.

Gino Del Ferraro, Chuang Wang, Dani Martí, and Marc Mézard, Cavity Method: Message Passing from a Physics Perspective, 2014.