정의

섀넌은 정보량을 표현하기 위해 다음으로 정보 엔트로피를 정의하였다. 임의의 확률 분포 $X=(p_1, ..., p_n)$에서 계산되는 정보량은

\begin{equation} H(X) \equiv H(p_1, ..., p_n) = -\sum_x p_x \log p_x \end{equation}

여기서 $\log$는 밑이 2인 로그를 의미한다. $H(X)$가 가질수 있는 양의 범위는 $p_x=[0,1]\,, H(X)=[0,1]$이며, $p_x=0.5$에서 최댓값을 가지는, 대칭인 함수이다. $p_x=0$인 경우에서 로그의 정의로 값을 해석하는 문제가 발생할 수 있는데, 이 경우 선형함수가 더 빠르게 값이 줄어들어, $p_x=0$ 이면 $H(X)=0\log0\simeq0$으로 간주한다. 다시말해,

\begin{equation} \ln(1+x) = \sum_{n=1}^{\infty}\frac{(-1)^{n-1}x^n}{n} \end{equation}