공동 방법(cavity method)

TAP(Thouless-Anderson-Palmercavity)방정식은 '셰링턴-커크패트릭 모형'에 대해서 공동 방법(cavity method)으로 유도할 수 있다.

$$ \\ $$ 기본적인 아이디어는, $N$개의 스핀(spin)으로 이루어진 계에서 $N+1$개의 스핀으로 이루어진 계로 변화 시키면서도

그러한 두 계에서 얻는 관측 가능량(observables)이 '열역학적 극한'에서 차이가 없어야 한다는 점을 이용하는 것이다.

$$ \\ $$

관측 가능량 중 하나로서 '국소적 자화량(local magnetization)'을 $m_i = \langle S_i \rangle$라고 표기한다면, 이는 한 곳에 대한 열적 평균(thermal average)을 내린 값이다.

이번 글에서의 최종 목표는, 이러한 국소적 자화량이 TAP 방정식을 만족함을 보이는 것이다.

$$ \\ $$ 이어지는 논의에서는 편의상 외부 자기장은 없다고 하여 그에 따라 $h_i=0$이며

격자 구조가 베테 격자(Bethe lattice)로서 나뭇가지 구조(tree structure)를 갖는다고 하자.

$$ \\ $$ 국소적 자화량에 대한 평균인 $\langle S_i \rangle$을 얻기 위해서는, 국소적 스핀에 대한 분포함수 $P_i(S_i)$를 얻으면 되는데

이를 구하기 위해서 아래의 국소장(local field)을 먼저 고려하자.

$$ \tilde{h}_i = \sum_{j} J_{ij}S_j $$

즉, 이는 스핀 $S_i$와 이웃인 스핀 $S_j$들에 대한 장(field)이다.

그렇다면 $S_i$와 $\tilde{h}_i $의 결합 분포(joint distribution)는 다음과 같이 표현될 것이다.

$$ P(S_i, \tilde{h}_i ) \propto e^{\beta \tilde{h}_i S_i}P(\tilde{h}_i ＼ S_i)$$

$P(\tilde{h}_i ＼ S_i)$는 '$S_i$가 계로부터 제거되었을 때'에 해당하는 $ \tilde{h}_i$의 분포이다.

이러한 상황을 표현해볼 때, 모든 $j$에 대해서 $J_{ij}=0$인 경우이므로 $\tilde{h}_i$의 정의에 혼동이 생길 수 있지만

아래의 함수 식을 살펴보면 더 원활히 이해할 수 있다.

$$ P(\tilde{h}_i＼S_i)\equiv \text{Tr}_{S＼S_i}\ \delta\left(\tilde{h}_i - \sum_j J_{ij}S_j\right) P(\boldsymbol{S}＼S_i)$$

여기서 $P(\boldsymbol{S}＼S_i)$는 $S_i$가 제외된 전체 계에 대한 확률 분포이다.

$$ \\ $$ 즉, 위의 식에서 $P(\boldsymbol{S}＼S_i)$가 $S_i$를 제외하는 기여를 하는 확률 분포이며, $\delta\left(\tilde{h}_i - \sum_j J_{ij}S_j\right)$의 디랙-델타 함수는 $\tilde{h}_i=\sum_j J_{ij}S_j$라는 정보를 포함하는 분포이다.

$$ \\ $$ 그림으로 나타내자면, 위의 식을 다음과 같이 이해할 수 있다.

위의 상황은 원래의 스핀 $N$개로 이루어진 계에 한 개의 스핀을 추가함으로써 아래의 그림과 같은 변화가 생기도록 한 것과 같다.

왼쪽의 경우가 원래 스핀 $N$개의 계이며, 오른쪽의 경우는 스핀 한개를 추가함으로써 $N+1$개가 된 계이다.

$$ \\ $$ 우리가 구하고자 하는 $P_i(S_i)$는 다음과 같이 표현될 것이다.

$$ P_i(S_i) \propto \int d \tilde{h}_i \ e^{\beta \tilde{h}_i S_i} P(\tilde{h}_i ＼S_i)$$

따라서 $ P(\tilde{h}_i ＼S_i)$의 식을 얻을 수 있다면, 공동 방법(cavity method)의 기본적인 아이디어를 통해서 'TAP 방정식'을 얻는 것이 가능하다.

$$ \\ $$

이때, 우리가 위에서 스핀이 존재하는 격자 구조를 베테 격자(Bethe lattice)로 가정했으므로

$P(\tilde{h}_i ＼ S_i)$에 대해 '중심 극한 정리(central limit theorem)'를 적용할 수 있다.

$$ \\ $$ 왜냐하면 베테 격자는 나뭇가지(tree) 구조를 가지기 때문에, 앞서 본 아래의 그림처럼

스핀이 제거됨과 동시에 독립적인(independent) 나뭇가지로 분리되는 성질이 있기 때문이다.

즉, 독립적이고 동일하게 분포된(independent and identically distributed) $J_{ij}S_j$에 대해서,

$S_i$가 제거된 경우의 '공동 장(cavity field)'인 $\tilde{h}_i$의 분포는 ($N$이 증가함에 따라) 가우스 분포(Gaussian distribution)인 것을 알 수 있다.

$$ \\ $$ 즉, 다음과 같은 형태로 표현 가능하다.

$$ P(\tilde{h}_i ＼ S_i)=\frac{1}{\sqrt{2\pi V_i}} \exp \left[ -\frac{(\tilde{h}_i - \langle \tilde{h}_i\rangle _{＼i})^2}{2V_i}\right]$$

위의 식에서 $V_i$는 국소장의 분산(variance)이다.

분산 $V_i$를 식으로 표현하면 아래와 같다.

$$ \begin{align} V_i &= \langle (\tilde{h}_i)^2\rangle - \langle \tilde{h}_i \rangle ^2 \\ &=\sum_{j,k}J_{ij}J_{ik}(\langle S_jS_k\rangle_{＼i} \ \ - \ \langle S_j\rangle_{＼i} \langle S_k\rangle_{＼i} ) \end{align}$$ $$
$$ 이때, '셰링턴-커크패트릭 모형'의 분포함수를 고려하자. $$ P(J_{ij}) = \frac{1}{J}\sqrt{\frac{N}{2\pi}} \exp\left\{ - \frac{N}{2J^2}\left( J_{ij} - \frac{J_0}{N} \right)^2 \right\} $$ 위의 식으로부터 $J_{ij}$의 기댓값은 $\frac{J_0}{N}$이며 분산은 $\frac{J^2}{N}$임을 알 수 있다.

따라서 $N \to \infty$인 경우에는 $V_i=\sum_{j,k}J_{ij}J_{ik}(\langle S_jS_k\rangle_{＼i} \ \ - \ \langle S_j\rangle_{＼i} \langle S_k\rangle_{＼i} )$의 식에서 $j=k$인 경우만이 살아남는다는 것을 알 수 있다.

그 결과는 다음과 같이 표현 된다.

$$ V_i \approx \sum_j J_{ij}^2(1-\langle S_j \rangle^2 _{＼i} \approx \sum_j J_{ij}^2(1-\langle S_j \rangle^2 = \sum_j J_{ij}^2 (1-m_j ^2) $$

이와 같이 국소장의 분산 $V_i$을 얻었으므로 $ P_i(S_i) \propto \int d \tilde{h}_i \ e^{\beta \tilde{h}_i S_i} P(\tilde{h}_i ＼S_i)$의 관계를 이용하여 $m_i$를 구하면 된다.

$$ \\ $$

$S_i$는 $1$ 또는 $-1$의 이산적인 값을 가지므로, $m_i$를 다음과 같이

분배함수를 포함한 대각합(trace, $\text{Tr}$)으로 계산할 수 있다.

$$m_i= \sum_{S_i=\pm1} \frac{P(S_i)}{P(S_i=1)+P(S_i=-1)}S_i$$

이때, 위에서 설명한 식에 따라서 $P(S_i)$는 다음과 같이 표현된다. $$ \begin{align} P(S_i) & \propto \int d \tilde{h}_i \ \exp[{\beta \tilde{h}_i S_i}] P(\tilde{h}_i ＼S_i) \\ & = \int d\tilde{h}_i \frac{1}{\sqrt{2\pi V_i}} \exp[{\beta \tilde{h}_i S_i}] \exp \left[ -\frac{(\tilde{h}_i - \langle \tilde{h}_i\rangle _{＼i})^2}{2V_i}\right]\\ & = \frac{1}{\sqrt{2\pi V_i}} \int d\tilde{h}_i \exp\left[-\frac{(\tilde{h}_i - \langle \tilde{h}_i\rangle _{＼i})^2}{2V_i} +\beta \tilde{h}_i S_i \right] \\ &= \frac{1}{\sqrt{2\pi V_i}} \int d\tilde{h}_i \exp\Biggl[ -\frac{1}{2V_i}\left(\tilde{h}_i^2 -2\tilde{h}_i\langle \tilde{h_i} \rangle_{＼i} +\langle \tilde{h_i} \rangle_{＼i}^2 -2V_i\beta S_i \tilde{h}_i \right) \Biggr]\\ &=\frac{1}{\sqrt{2\pi V_i}} \int d\tilde{h}_i \exp\Biggl[ -\frac{1}{2V_i}\Bigl(\tilde{h}_i^2 -2\tilde{h}_i(\langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i) \\ &\qquad \qquad +(\tilde{h}_i\langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i) ^2-(\tilde{h}_i\langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i) ^2 +\langle \tilde{h_i} \rangle_{＼i}^2 \Bigr) \Biggr]\\ &=\frac{1}{\sqrt{2\pi V_i}} \int d\tilde{h}_i \exp\Biggl[ -\frac{1}{2V_i}\Bigl( \tilde{h}_i -(\langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i)\Bigr)^2\Biggr]\\ &\qquad \qquad \qquad × \exp\Biggl[-\frac{1}{2V_i}\Bigl(-( \langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i) ^2 +\langle \tilde{h_i} \rangle_{＼i}^2 \Bigr)\Biggr]\\ &=\frac{1}{\sqrt{2\pi V_i}}\exp\Biggl[-\frac{1}{2V_i}\Bigl(-( \langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i) ^2 +\langle \tilde{h_i} \rangle_{＼i}^2 \Bigr)\Biggr] \sqrt{2\pi V_i}) \\ &=\exp\Biggl[-\frac{1}{2V_i}\Bigl(-( \langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i) ^2 +\langle \tilde{h_i} \rangle_{＼i}^2 \Bigr)\Biggr] \\ &=\exp\Biggl[ \frac{1}{2V_i}\Bigl( 2 \langle \tilde{h_i} \rangle_{＼i}V_i\beta S_i +(V_i\beta S_i)^2 \Bigr)\Biggr] \\ &=\exp\left[\frac{1}{2V_i}(V_i\beta)^2 \right]\exp\Bigl[ \beta \langle \tilde{h_i} \rangle_{＼i} S_i\Bigr] \end{align}$$ 이제 $P(S_i)$가 $\exp\Bigl[ \beta \langle \tilde{h_i} \rangle_{＼i} S_i\Bigr] $에 비례한다는 것을 얻었으므로, 아래와 같이 $m_i$룰 계산하자.

$$ \begin{align} m_i &= \sum_{S_i=\pm 1} \frac{1}{[\exp[\beta \langle \tilde{h_i} \rangle_{＼i} \ + \exp[-\beta \langle \tilde{h_i} \rangle_{＼i}]]} S_i\exp\bigl[ \beta \langle \tilde{h_i} \rangle_{＼i} S_i\bigr] \\ &=\tanh[\beta \langle \tilde{h_i} \rangle_{＼i}] \end{align} $$ 여기서 $\langle \tilde{h_i} \rangle_{＼i}$의 식을 얻으면 $m_i$를 온전히 표현할 수 있다.

$$ \\ $$ 이때, $\langle \tilde{h_i} \rangle_{＼i}$이 아닌 $\langle \tilde{h_i} \rangle$ 로서 '$S_i$를 제외 시키지 않은' 경우의 $\tilde{h}_i$의 기대값은 다음과 같이 쓸 수 있다.

$$ \langle \tilde{h}_i \rangle = \text{Tr}_{S_i} \int d\tilde{h}_i \tilde{h}_i P(S_i,\tilde{h}_i) $$

여기에서 (앞서 살펴본) $P(S_i,\tilde{h}_i) \propto e^{\beta\tilde{h}_i S_i}P(\tilde{h}_i ＼ S_i)$를 이용하면

다음과 같은 과정에 의해서 $\langle \tilde{h_i} \rangle$와 $\langle \tilde{h_i} \rangle_{＼i}$에 대한 관계식을 얻는다.

$$ \begin{align} \langle \tilde{h}_i \rangle &\propto \frac{1}{\sqrt{2\pi V_i}} \ \text{Tr}_{S_i} \int d\tilde{h}_i \tilde{h}_i\exp \Biggl[ -\frac{(\tilde{h}_i - \langle \tilde{h}_i\rangle _{＼i})^2}{2V_i} +\beta\tilde{h}_i S_i \Biggr]\\ &= \frac{1}{\sqrt{2\pi V_i}} \text{Tr}_{S_i} \int d\tilde{h}_i \tilde{h}_i \exp\Biggl[ -\frac{1}{2V_i}\Bigl( \tilde{h}_i -(\langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i)\Bigr)^2\Biggr]\\ &\qquad \qquad \qquad × \exp\Biggl[-\frac{1}{2V_i}\Bigl(-( \langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i) ^2 +\langle \tilde{h_i} \rangle_{＼i}^2 \Bigr)\Biggr]\\ &=\frac{1}{\sqrt{2\pi V_i}} \exp\left[\frac{1}{2V_i}(V_i\beta)^2 \right] × \\ &\text{Tr}_{S_i} \exp\Bigl[ \beta \langle \tilde{h_i} \rangle_{＼i} S_i\Bigr] \int d\tilde{h}_i \tilde{h}_i \exp\Biggl[ -\frac{1}{2V_i}\Bigl( \tilde{h}_i -(\langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i)\Bigr)^2\Biggr]\\ &=\frac{1}{\sqrt{2\pi V_i}} \exp\left[\frac{1}{2V_i}(V_i\beta)^2 \right] ×\\ &\text{Tr}_{S_i}\exp\Bigl[ \beta \langle \tilde{h_i} \rangle_{＼i} S_i\Bigr] \int d\tilde{h}_i \Bigl( \langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i \Bigr) \exp\Biggl[ -\frac{1}{2V_i}\Bigl( \tilde{h}_i -(\langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i)\Bigr)^2\Biggr]\\ &= \exp\left[\frac{1}{2V_i}(V_i\beta)^2 \right]\text{Tr}_{S_i} \exp\Bigl[ \beta \langle \tilde{h_i} \rangle_{＼i} S_i\Bigr] \Bigl(\langle \tilde{h_i} \rangle_{＼i}+V_i\beta S_i \Bigr) \\ &= \langle \tilde{h_i} \rangle_{＼i}+V_i\beta \langle S_i \rangle \end{align} $$ $$ \begin{align} \therefore \langle \tilde{h_i} \rangle &= \langle \tilde{h_i} \rangle_{＼i}+V_i\beta \langle S_i \rangle \\ &= \langle \tilde{h_i} \rangle_{＼i}+V_i\beta m_i \end{align}$$ 위의 유도 과정에서는 앞서서 계산한 적분 결과를 곧바로 사용하였고, $P(S_i) \propto \exp\left[\frac{1}{2V_i}(V_i\beta)^2 \right]\exp\Bigl[ \beta \langle \tilde{h_i} \rangle_{＼i} S_i\Bigr] $임을 적용하여 관계식을 등호로 바꿀 수 있었다.

$$ \\ $$ 이때 '$S_i$를 제외 시키지 않은' 경우에 해당하는 국소장의 기댓값은 $\langle \tilde{h_i} \rangle=\sum_j J_{ij} m_j$이므로

앞서 얻었던 식인 $m_i = \tanh[\beta \langle \tilde{h_i} \rangle_{＼i}]$은, 결론적으로 아래와 같다.

\begin{align} m_i &= \tanh\left[\beta \left( \langle \tilde{h_i} \rangle - V_i\beta m_i \right)\right] \\ &= \tanh\left[\beta \left( \sum_j J_{ij} m_j -\beta \sum_j J_{ij}^2 (1-m_j ^2)m_i \right)\right] \end{align}

위의 유도 결과는 TAP 방정식이라고 불린다.

$$ \\ $$

TAP 방정식인 다음의 식을 다시 살펴보면

$$ m_i = \tanh\left[\beta \left( \sum_j J_{ij} m_j -\beta \sum_j J_{ij}^2 (1-m_j ^2)m_i \right)\right]$$

$-\beta \sum_j J_{ij}^2 (1-m_j ^2)m_i $의 항은 마치 '추가로 붙게 된 항'처럼 보인다.

사실, 이 항은 '상쇄'의 역할을 하며 중요한 의미를 갖는다.

$$ \\ $$ 자화량 $m_i$는 $j$의 위치에, '내부장(internal field)' $J_{ij}m_i$만큼의 영향을 준다.

그에 따라, 위치 $j$의 자화량 $m_j$는 $\chi_{jj}J_{ij}m_i$만큼 변하게 된다. $\chi_{jj}$는 다음과 같다.

$$ \chi_{jj} = \frac{\partial m_j}{\partial h_j} \Biggl|_{h_j \to 0}=\beta(1-m_j^2)$$ ($\chi$가 자기 감수율(magnetic susceptibility)이며, 그 값은 앞서 분산 $V_i$를 구할 때와 마찬가지의 방식으로 구할 수 있다.)

$$ \\ $$ 이때, 이렇게 변화한 $m_j$의 값에 의해서 $m_i$가 다시 영향을 받게 되는 값은 다음과 같다.

$$ J_{ij} \chi_{jj}J_{ij}m_i = \beta J_{ij}^2(1-m_j)^2 m_i$$ 그런데 이것을 발생시킨 $m_j$의 변화는 $m_i$에 의한 것이므로, 이러한 항의 효과는 제거해주어야 한다.

$$ \\ $$ TAP 방정식에서 $-\beta \sum_j J_{ij}^2 (1-m_j ^2)m_i $의 항이 해당 역할을 적절하게 수행하므로,

'Onsager의 반응장(reaction field)'으로 불린다.

$$ \\ $$

TAP 방정식은 고온의 영역에서만 옳은 결과를 준다는 한계가 있다.

$$ \\ $$ 왜냐하면, 우리가 유도 과정을 거칠 때에 사용하였던 주된 가정은 $\sum_{j,k} (\langle S_j S_k\rangle - \langle S_j \rangle \langle S_k \rangle)$이

$j \ne k$ 일 때는 $N \to \infty$에서 크게 기여하지 못한다는 가정이었다.

$$ \\ $$ 그러나, 저온의 영역에서는 $N \to \infty$에서도 $j,k$에 대해서 $(\langle S_j S_k\rangle - \langle S_j \rangle \langle S_k \rangle)$가 유한한 값을 가지므로

TAP 방정식이 정확히 옳은 결과를 주지는 못한다.

Hidetoshi Nishimori, Statistical Physics of Spin Glasses and Information Processing An Introduction, 2001.

Gino Del Ferraro, Chuang Wang, Dani Martí, and Marc Mézard, Cavity Method: Message Passing from a Physics Perspective, 2014.