선형 회귀 분석

$n$개의 데이터 $(X_i, Y_i)$가 주어져있을 때 $\hat{Y}_i=a+bX_i$를 가정하여 $Q \equiv \sum(Y_i-\hat{Y_i})^2$을 최소화하는 것이 목표이다.

평균 제곱근 오차(root-mean-squared error)를 $$s_{\small Y \cdot X} \equiv \sqrt{\frac{\sum_{i=1}^n (Y_i - \hat{Y}_i)^2}{n-2}}$$ 로 정의하자. $$\overline{X} \equiv \frac{1}{n} \sum_{i=1}^n X_i$$ $$\overline{Y} \equiv \frac{1}{n} \sum_{i=1}^n Y_i$$ 로 정의하면 계수 $a$와 $b$는 $$a = \overline{Y} - b \overline{X}$$ $$b = \frac{Cov(X,Y)}{Var(X)} = \frac{\sum_{i=1}^n (X_i-\overline{X}(Y_i-\overline{Y})}{\sum_{i=1}^n (X_i-\overline{X})^2}$$ 로 결정된다. 나아가 $$SS_x \equiv \sum_{i=1}^n (X_i-\overline{X})^2$$ $$SS_y \equiv \sum_{i=1}^n (Y_i-\overline{Y})^2$$ $$SS_{xy} \equiv \sum_{i=1}^n (X_i-\overline{X})(Y_i-\overline{Y})$$ 라고 놓으면 기울기 $b$의 표준오차는 $$s_b = \sqrt{\frac{SS_y/SS_x - b^2}{n-2}} = \frac{s_{\small Y \cdot X}}{\sqrt{SS_x}},$$ $a$의 표준오차는 $$s_a = s_{\small Y \cdot X} \sqrt{\frac{1}{n} + \frac{\overline{X}^2}{SS_x}}$$ 이다.