TAP(Thouless-Anderson-Palmercavity)방정식은 '셰링턴-커크패트릭 모형'에 대해서 공동 방법(cavity method)으로 유도할 수 있다.

$$ \\ $$ 기본적인 개념은 Bethe와 Peierls가 도입한 근사(Bethe-Peierls approximation)로 설명되며, 이는

$N$개의 스핀 사이의 상호작용을 고려해야 하는 원래의 문제를 '유한한 크기의 클러스터'의 문제로 줄이는 아이디어이다.

$$ \\ $$

위에서 언급한 '클러스터'란 아래와 같이 유한한 스핀들로 이루어진 집합이다.

위의 그림에서 볼 수 있듯이, 상호작용을 고려할 클러스터는 $i$로 표시한 스핀 $S_i$와 그의 가장 가까운 이웃(nearest neighbor)으로 구성되어 있다.

원래라면 이러한 클러스터 위의 상호작용을 계산하여 얻은 물리적인 결과가 기존의 $N$개 스핀을 모두 고려하여 얻는 결과에 적절히 상응할 수 없겠지만,

국소장(local field) 및 공동장(cavity field)를 정의한다면 공동 방법의 기본 원리를 기술할 수 있다.

우선 '국소장'은 아래와 같은 식으로 표현된다.

$$ \tilde{h}_i = \sum_{k} J_{ik}S_k $$

즉, 이는 스핀 $S_i$에 그의 이웃인 스핀 $S_k$들이 영향을 미치는 장(field)이다.

이때, '공동장'은 아래의 그림과 같이

$S_i$의 이웃인 $S_j$에 대해 $\tilde{h}_{j＼i}$를 '$S_i$를 제외한' $S_j$의 나머지 가장 가까운 이웃들에 의해서 받는 장(상호작용)으로 정의할 수 있다.

$$ \\ $$ 이렇게 (우리가 $\tilde{h}_{j＼i}$의 형태를 정확히 알 수 없더라도) '공동장'을 도입하면

'Bethe-Peierls 근사'에 의해 무시된 나머지 스핀들의 정보를 계산에 포함시키는 것이 가능할 것이다.

$$ \\ $$ $\tilde{h}_{j＼i}$를 '공동'장('cavity' field)이라고 부르는 이유는, '(스핀 $S_j$의 관점에서) $S_i$가 제거된 계'에 대해 $S_j$가 받는 국소장을 계산한 것이기 때문이다.

(앞선 그림에서 '$S_i$를 감싸는 공동'을 생각하면 더 직관적인 용어로 이해될 수 있다. 그 경우 $J_{ij}=0$이다.)

$$ \\ $$

관측 가능량 중 하나로서 '국소적 자화량(local magnetization)'을 $m_i = \langle S_i \rangle$라고 표기한다면

이는 어떠한 클러스터 중심에 위치한 스핀 $S_i$의 열적 평균(thermal average) 값이다.

이번 글에서의 최종 목표는, 이러한 국소적 자화량이 TAP 방정식을 만족함을 보이는 것이다.

$$ \\ $$ 이어지는 논의에서는 편의상 외부 자기장은 없다고 하여 그에 따라 $h_i=0$이라고 하자.

$$ \\ $$ 국소적 자화량에 대한 평균인 $\langle S_i \rangle$을 얻기 위해서는, 국소적 스핀에 대한 분포함수 $P_i(S_i)$를 얻으면 되는데

이를 구하기 위해서 앞서 언급한 국소장(local field) $ \tilde{h}_i = \sum_{k} J_{ik}S_k $을 먼저 고려하자.

그리고 $S_i$와 $\tilde{h}_i $의 결합 분포(joint distribution)는 다음과 같이 표현될 것이다.

$$ P(S_i, \tilde{h}_i ) \propto e^{\beta \tilde{h}_i S_i}P(\tilde{h}_j ＼ S_i)$$

$P(\tilde{h}_j ＼ S_i)$는 '$S_i$가 계로부터 제거되었을 때'에 해당하는 $ \tilde{h}_j$의 분포이며 $j$는 클러스터 내의 임의의 스핀을 가리키는 인덱스이다.

$$ \\ $$ 직관적인 이해를 위해서 앞서 언급한 그림을 다시 살펴보자면, 위의 식을 보다 원활하게 설명할 수 있다.

즉, 어떠한 $S_i$를 중심으로 정의된 클러스터의 '전체적인 결합 확률분포' ($P(S_i,\tilde{h}_i)$)는

'이웃 스핀 $S_j$의 공동장($\tilde{h}_j$)의 확률 분포'와 $S_i$가 느끼는 국소장($\tilde{h}_i$)의 확률 분포를 곱한 것이다.

($S_i$, $\tilde{h}_i$에 대한 확률 분포는 볼츠만 인자로 주어진 것이다.)

$$ \\ $$ 이제, 우리가 구하고자 하는 $P_i(S_i)$는 다음과 같이 표현될 것이다.

$$ P_i(S_i) \propto \int d \tilde{h}_i \ e^{\beta \tilde{h}_i S_i} P(\tilde{h}_j ＼S_i)$$

따라서 $ P(\tilde{h}_i ＼S_i)$의 식을 얻을 수 있다면, 공동 방법(cavity method)의 기본적인 아이디어를 통해서 'TAP 방정식'을 얻는 것이 가능하다.

$$ \\ $$

만약 격자 구조가 아래와 같은 베테 격자(Bethe lattice) 구조라면,

우리가 위의 그림에서 이해한 방식에 의하면 $P(\tilde{h}_i ＼ S_i)$에 대해 '중심 극한 정리(central limit theorem)'를 적용할 수 있다.

왜냐하면 스핀이 제거됨과 동시에 각각의 $J_{ij}S_j$가 독립적(independent)으로 분리되는 성질이 있기 때문이다.

$$ \\ $$

여기에서, 서로 다른 위치에 대한 상관관계(correlation)가 약한 '셰링턴-커크패트릭 모형'에 대해서도 이러한 가정을 도입할 수 있다고 하자.

즉, 독립적이고 동일하게 분포된(independent and identically distributed) $J_{ij}S_j$에 대해서

$S_i$가 제거된 경우의 '공동 장(cavity field)'인 $\tilde{h}_i$의 분포는 ($N$이 증가함에 따라) 가우스 분포(Gaussian distribution)인 것을 알 수 있다.

$$ \\ $$ 즉, 다음과 같은 형태로 표현 가능하다.

$$ P(\tilde{h}_i ＼ S_i)=\frac{1}{\sqrt{2\pi V_i}} \exp \left[ -\frac{(\tilde{h}_i - \langle \tilde{h}_i\rangle _{＼i})^2}{2V_i}\right]$$

위의 식에서 $V_i$는 국소장의 분산(variance)이다.

분산 $V_i$를 식으로 표현하면 아래와 같다.

$$ \begin{align} V_i &= \langle (\tilde{h}_i)^2\rangle - \langle \tilde{h}_i \rangle ^2 \\ &=\sum_{j,k}J_{ij}J_{ik}(\langle S_jS_k\rangle_{＼i} \ \ - \ \langle S_j\rangle_{＼i} \langle S_k\rangle_{＼i} ) \end{align}$$ $$
$$ 이때, '셰링턴-커크패트릭 모형'의 분포함수를 고려하자. $$ P(J_{ij}) = \frac{1}{J}\sqrt{\frac{N}{2\pi}} \exp\left\{ - \frac{N}{2J^2}\left( J_{ij} - \frac{J_0}{N} \right)^2 \right\} $$ 위의 식으로부터 $J_{ij}$의 기댓값은 $\frac{J_0}{N}$이며 분산은 $\frac{J^2}{N}$임을 알 수 있다.

따라서 $N \to \infty$인 경우에는 $V_i=\sum_{j,k}J_{ij}J_{ik}(\langle S_jS_k\rangle_{＼i} \ \ - \ \langle S_j\rangle_{＼i} \langle S_k\rangle_{＼i} )$의 식에서 $j=k$인 경우만이 살아남는다는 것을 알 수 있다.

그 결과는 다음과 같이 표현 된다.

$$ V_i \approx \sum_j J_{ij}^2(1-\langle S_j \rangle^2 _{＼i} \approx \sum_j J_{ij}^2(1-\langle S_j \rangle^2 = \sum_j J_{ij}^2 (1-m_j ^2) $$

이와 같이 국소장의 분산 $V_i$을 얻었으므로 $ P_i(S_i) \propto \int d \tilde{h}_i \ e^{\beta \tilde{h}_i S_i} P(\tilde{h}_i ＼S_i)$의 관계를 이용하여 $m_i$를 구하면 된다.

$$ \\ $$

$S_i$는 $1$ 또는 $-1$의 이산적인 값을 가지므로, $m_i$를 다음과 같이

분배함수를 포함한 대각합(trace, $\text{Tr}$)으로 계산할 수 있다.

$$m_i= \sum_{S_i=\pm1} \frac{P(S_i)}{P(S_i=1)+P(S_i=-1)}S_i$$

이때, 위에서 설명한 식에 따라서 $P(S_i)$는 다음과 같이 표현된다. $$ \begin{align} P(S_i) & \propto \int d \tilde{h}_i \ \exp[{\beta \tilde{h}_i S_i}] P(\tilde{h}_i ＼S_i) \\ & = \int d\tilde{h}_i \frac{1}{\sqrt{2\pi V_i}} \exp[{\beta \tilde{h}_i S_i}] \exp \left[ -\frac{(\tilde{h}_i - \langle \tilde{h}_i\rangle _{＼i})^2}{2V_i}\right]\\ & = \frac{1}{\sqrt{2\pi V_i}} \int d\tilde{h}_i \exp\left[-\frac{(\tilde{h}_i - \langle \tilde{h}_i\rangle _{＼i})^2}{2V_i} +\beta \tilde{h}_i S_i \right] \\ &= \frac{1}{\sqrt{2\pi V_i}} \int d\tilde{h}_i \exp\Biggl[ -\frac{1}{2V_i}\left(\tilde{h}_i^2 -2\tilde{h}_i\langle \tilde{h_i} \rangle_{＼i} +\langle \tilde{h_i} \rangle_{＼i}^2 -2V_i\beta S_i \tilde{h}_i \right) \Biggr]\\ &=\frac{1}{\sqrt{2\pi V_i}} \int d\tilde{h}_i \exp\Biggl[ -\frac{1}{2V_i}\Bigl(\tilde{h}_i^2 -2\tilde{h}_i(\langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i) \\ &\qquad \qquad +(\tilde{h}_i\langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i) ^2-(\tilde{h}_i\langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i) ^2 +\langle \tilde{h_i} \rangle_{＼i}^2 \Bigr) \Biggr]\\ &=\frac{1}{\sqrt{2\pi V_i}} \int d\tilde{h}_i \exp\Biggl[ -\frac{1}{2V_i}\Bigl( \tilde{h}_i -(\langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i)\Bigr)^2\Biggr]\\ &\qquad \qquad \qquad × \exp\Biggl[-\frac{1}{2V_i}\Bigl(-( \langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i) ^2 +\langle \tilde{h_i} \rangle_{＼i}^2 \Bigr)\Biggr]\\ &=\frac{1}{\sqrt{2\pi V_i}}\exp\Biggl[-\frac{1}{2V_i}\Bigl(-( \langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i) ^2 +\langle \tilde{h_i} \rangle_{＼i}^2 \Bigr)\Biggr] \sqrt{2\pi V_i}) \\ &=\exp\Biggl[-\frac{1}{2V_i}\Bigl(-( \langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i) ^2 +\langle \tilde{h_i} \rangle_{＼i}^2 \Bigr)\Biggr] \\ &=\exp\Biggl[ \frac{1}{2V_i}\Bigl( 2 \langle \tilde{h_i} \rangle_{＼i}V_i\beta S_i +(V_i\beta S_i)^2 \Bigr)\Biggr] \\ &=\exp\left[\frac{1}{2V_i}(V_i\beta)^2 \right]\exp\Bigl[ \beta \langle \tilde{h_i} \rangle_{＼i} S_i\Bigr] \end{align}$$ 이제 $P(S_i)$가 $\exp\Bigl[ \beta \langle \tilde{h_i} \rangle_{＼i} S_i\Bigr] $에 비례한다는 것을 얻었으므로, 아래와 같이 $m_i$룰 계산하자.

$$ \begin{align} m_i &= \sum_{S_i=\pm 1} \frac{1}{[\exp[\beta \langle \tilde{h_i} \rangle_{＼i} \ + \exp[-\beta \langle \tilde{h_i} \rangle_{＼i}]]} S_i\exp\bigl[ \beta \langle \tilde{h_i} \rangle_{＼i} S_i\bigr] \\ &=\tanh[\beta \langle \tilde{h_i} \rangle_{＼i}] \end{align} $$ 여기서 $\langle \tilde{h_i} \rangle_{＼i}$의 식을 얻으면 $m_i$를 온전히 표현할 수 있다.

$$ \\ $$ 이때, $\langle \tilde{h_i} \rangle_{＼i}$이 아닌 $\langle \tilde{h_i} \rangle$ 로서 '$S_i$를 제외 시키지 않은' 경우의 $\tilde{h}_i$의 기대값은 다음과 같이 쓸 수 있다.

$$ \langle \tilde{h}_i \rangle = \text{Tr}_{S_i} \int d\tilde{h}_i \tilde{h}_i P(S_i,\tilde{h}_i) $$

여기에서 (앞서 살펴본) $P(S_i,\tilde{h}_i) \propto e^{\beta\tilde{h}_i S_i}P(\tilde{h}_i ＼ S_i)$를 이용하면

다음과 같은 과정에 의해서 $\langle \tilde{h_i} \rangle$와 $\langle \tilde{h_i} \rangle_{＼i}$에 대한 관계식을 얻는다.

$$ \begin{align} \langle \tilde{h}_i \rangle &\propto \frac{1}{\sqrt{2\pi V_i}} \ \text{Tr}_{S_i} \int d\tilde{h}_i \tilde{h}_i\exp \Biggl[ -\frac{(\tilde{h}_i - \langle \tilde{h}_i\rangle _{＼i})^2}{2V_i} +\beta\tilde{h}_i S_i \Biggr]\\ &= \frac{1}{\sqrt{2\pi V_i}} \text{Tr}_{S_i} \int d\tilde{h}_i \tilde{h}_i \exp\Biggl[ -\frac{1}{2V_i}\Bigl( \tilde{h}_i -(\langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i)\Bigr)^2\Biggr]\\ &\qquad \qquad \qquad × \exp\Biggl[-\frac{1}{2V_i}\Bigl(-( \langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i) ^2 +\langle \tilde{h_i} \rangle_{＼i}^2 \Bigr)\Biggr]\\ &=\frac{1}{\sqrt{2\pi V_i}} \exp\left[\frac{1}{2V_i}(V_i\beta)^2 \right] × \\ &\text{Tr}_{S_i} \exp\Bigl[ \beta \langle \tilde{h_i} \rangle_{＼i} S_i\Bigr] \int d\tilde{h}_i \tilde{h}_i \exp\Biggl[ -\frac{1}{2V_i}\Bigl( \tilde{h}_i -(\langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i)\Bigr)^2\Biggr]\\ &=\frac{1}{\sqrt{2\pi V_i}} \exp\left[\frac{1}{2V_i}(V_i\beta)^2 \right] ×\\ &\text{Tr}_{S_i}\exp\Bigl[ \beta \langle \tilde{h_i} \rangle_{＼i} S_i\Bigr] \int d\tilde{h}_i \Bigl( \langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i \Bigr) \exp\Biggl[ -\frac{1}{2V_i}\Bigl( \tilde{h}_i -(\langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i)\Bigr)^2\Biggr]\\ &= \exp\left[\frac{1}{2V_i}(V_i\beta)^2 \right]\text{Tr}_{S_i} \exp\Bigl[ \beta \langle \tilde{h_i} \rangle_{＼i} S_i\Bigr] \Bigl(\langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i \Bigr) \\ &= \langle \tilde{h_i} \rangle_{＼i}+V_i\beta \langle S_i \rangle \end{align} $$ $$ \begin{align} \therefore \langle \tilde{h_i} \rangle &= \langle \tilde{h_i} \rangle_{＼i}+V_i\beta \langle S_i \rangle \\ &= \langle \tilde{h_i} \rangle_{＼i}+V_i\beta m_i \end{align}$$ 위의 유도 과정에서는 앞서서 계산한 적분 결과를 곧바로 사용하였고, $P(S_i) \propto \exp\left[\frac{1}{2V_i}(V_i\beta)^2 \right]\exp\Bigl[ \beta \langle \tilde{h_i} \rangle_{＼i} S_i\Bigr] $임을 적용하여 관계식을 등호로 바꿀 수 있었다.

$$ \\ $$ 이때 '$S_i$를 제외 시키지 않은' 경우에 해당하는 국소장의 기댓값은 $\langle \tilde{h_i} \rangle=\sum_j J_{ij} m_j$이므로

앞서 얻었던 식인 $m_i = \tanh[\beta \langle \tilde{h_i} \rangle_{＼i}]$은, 결론적으로 아래와 같다.

\begin{align} m_i &= \tanh\left[\beta \left( \langle \tilde{h_i} \rangle - V_i\beta m_i \right)\right] \\ &= \tanh\left[\beta \left( \sum_j J_{ij} m_j -\beta \sum_j J_{ij}^2 (1-m_j ^2)m_i \right)\right] \end{align}

위의 유도 결과는 TAP 방정식이라고 불린다.

$$ \\ $$

TAP 방정식은 고온의 영역에서만 옳은 결과를 준다는 한계가 있다.

$$ \\ $$ 왜냐하면, 우리가 유도 과정을 거칠 때에 사용하였던 주된 가정은 $\sum_{j,k} (\langle S_j S_k\rangle - \langle S_j \rangle \langle S_k \rangle)$이

$j \ne k$ 일 때는 $N \to \infty$에서 크게 기여하지 못한다는 가정이었다.

$$ \\ $$ 그러나, 저온의 영역에서는 $N \to \infty$에서도 $j,k$에 대해서 $(\langle S_j S_k\rangle - \langle S_j \rangle \langle S_k \rangle)$가 유한한 값을 가지므로

TAP 방정식이 정확히 옳은 결과를 주지는 못한다.

$$ \\ $$

TAP 방정식인 다음의 식을 다시 살펴보면

$$ m_i = \tanh\left[\beta \left( \sum_j J_{ij} m_j -\beta \sum_j J_{ij}^2 (1-m_j ^2)m_i \right)\right]$$

$-\beta \sum_j J_{ij}^2 (1-m_j ^2)m_i $의 항은 마치 '추가로 붙게 된 항'처럼 보인다.

사실, 이 항은 '상쇄'의 역할을 하며 중요한 의미를 갖는다.

$$ \\ $$ 자화량 $m_i$는 $j$의 위치에, '내부장(internal field)' $J_{ij}m_i$만큼의 영향을 준다.

그에 따라, 위치 $j$의 자화량 $m_j$는 $\chi_{jj}J_{ij}m_i$만큼 변하게 된다. $\chi_{jj}$는 다음과 같다.

$$ \chi_{jj} = \frac{\partial m_j}{\partial h_j} \Biggl|_{h_j \to 0}=\beta(1-m_j^2)$$ ($\chi$가 자기 감수율(magnetic susceptibility)이며, 그 값은 앞서 분산 $V_i$를 구할 때와 마찬가지의 방식으로 구할 수 있다.)

$$ \\ $$ 이때, 이렇게 변화한 $m_j$의 값에 의해서 $m_i$가 다시 영향을 받게 되는 값은 다음과 같다.

$$ J_{ij} \chi_{jj}J_{ij}m_i = \beta J_{ij}^2(1-m_j)^2 m_i$$ 그런데 이것을 발생시킨 $m_j$의 변화는 $m_i$에 의한 것이므로, 이러한 항의 효과는 제거해주어야 한다.

$$ \\ $$ TAP 방정식에서 $-\beta \sum_j J_{ij}^2 (1-m_j ^2)m_i $의 항이 해당 역할을 적절하게 수행하므로,

'Onsager의 반응장(reaction field)'으로 불린다.

$$ \\ $$

우리가 복제_대칭_해에서 살펴본 결과는 TAP 방정식을 이용해서도 유도가 가능하다.

우선, 상호작용인 $J_{ij}$를 강자성(ferromagnetic)에 대한 항과 난수(random)로 표현되는 항으로 분리하여 아래와 같이 나타내자.

$$ J_{ij} = \frac{J_0}{N} + \frac{J}{\sqrt{N}}z_{ij} $$

여기에서 $z_{ij}$는 가우스 랜덤 변수(Gaussian random variable)로서 평균이 $0$이며 분산을 $1$로 갖는 변수이다.

앞서 얻었던 $ \langle \tilde{h_i} \rangle = \langle \tilde{h_i} \rangle_{＼i}+V_i\beta m_i$의 식에 이를 대입하면 다음과 같다.

$$\langle \tilde{h_i} \rangle_{＼i} = \frac{J_0}{N}\sum_j m_j + \frac{J}{\sqrt{N}}\sum_j z_{ij}m_j - V_i \beta m_i $$

첫번째 항인 $\frac{J_0}{N}\sum_j m_j$는 $J_0 m$과 같으며, $m$은 강자성 질서 맺음 변수(order parameter)이다.

$$ \\ $$ 세번째 항의 역할은 Onsager의 reaction field에서 살펴본 '공동 보정(cavity correction)'의 효과를 주는 것이므로

두번째 항의 $ z_{ij}m_j$가 독립적인 '담금질' 랜덤 변수(indepedent 'quenched' random variable)인 것으로 가정할 수 있도록 한다.

$$ \\ $$ 이를 보다 자세히 설명하자면, $\langle \tilde{h_i} \rangle_{＼i}$를 표현하는 식의 의미는 '공동 장'의 평균으로서 $S_i$가 제거된 경우를 보는 것이므로

한 위치 $j$로 부터 발생하는 기여분은 또 다른 $j$로 부터 발생하는 기여분과 서로 간섭하지 않는다.

$$ \\ $$ 따라서 '중심 극한 정리'를 적용할 수 있고, $\sum_j z_{ij}m_j$가 가우스 분포를 따른다고 가정할 수 있다.

즉, 평균은 $0$이고, 그에 따라 분산은 다음과 같이 표현된다.

$$ \sum_j \sum_k [z_{ij}z_{ik}]m_j m_k = \sum_j m_j^2 = N q$$

그러므로 두번째 항은 가우스 담금질 랜덤 변수 $z$를 이용하여 $\sqrt{Nq}z$로서 표현이 가능하다.

$$ \\ $$ 이러한 결과들을 가지고서, $m_i = \tanh \left(\beta \langle \tilde{h_i} \rangle_{＼i} \right)$를 $z$의 분포에 대해서 평균을 내리면

$$ m= \int \text{D}z \tanh (\beta J_0 m + \beta J\sqrt{q}z) $$ 의 결과를 얻고, 이는 '복제 대칭 해'에 대해서 설명된 게시글에서 확인된 식과 같다.

$$ \\ $$

Hidetoshi Nishimori, Statistical Physics of Spin Glasses and Information Processing An Introduction, 2001.

Gino Del Ferraro, Chuang Wang, Dani Martí, and Marc Mézard, Cavity Method: Message Passing from a Physics Perspective, 2014.

S. N. Dorogovtsev, A. V. Goltsev, and J. F. F. Mendes, Critical phenomena in complex networks, 2008.