편향-분산 절충, Bais-Variance Decomposition

Expected test MSE 는 크게 reducible error 와 irreducible error 로 분리할 수 있으며 reducible error 는 다시 variance 와 bias 로 분리할 수 있다. Variance 는 training set 을 변경했을 때, \(\hat{f}\)이 변화하는 양을 나타낸다. Variance 가 클수록 training set 의 작은 변화에도 \(\hat{f}\)가 크게 변한다. 일반적으로 더 복잡한 방법일수록(more flexible) 더 큰 Variance 를 가진다. 이를 생각해보면, 복잡한 방법이라는 것은 그 만큼 주어진 training data 에 가깝게 따라간다는 것을 의미한다. 따라서 그 만큼 데이터 변화에 민감할 수 밖에 없다. Bias 는 복잡한 문제를 간단한 모델로 근사할 때 발생하는 에러를 나타낸다. 간단한 모델로 근사할 때, 해당 모델 자체의 한계(e.g., linear)로 인해 실제 \(f\) 함수 만큼 복잡한 형태를 나타내지 못하여 생기는 bias 가 존재한다. 일반적으로 더 복잡한 방법일수록 실제 \(f\) 함수와 비슷한 수준의 복잡도로 근사할 수 있기 때문에 bias 가 적다.

회귀모형에서의 Bias-Variance Decomposition이란?

일반적으로 더 복잡한 방법을 사용할 때 variance 는 증가하고, bias 는 감소한다. test MSE 가 작다는 것은 곧 좋은 \(\hat{f}\) 를 찾았다는 것을 의미하므로, variance 와 bias 의 증감 사이에서 test MSE 가 최소가 되는 지점을 찾아야 한다. 일반적으로 flexibility 를 증가시킬 때 variance 의 증가폭 보다 bias 의 감소폭이 더 크기 때문에 test MSE 는 전체적으로 감소하는데, 어느 순간 variance 의 증가폭이 더 커져 test MSE 가 증가하게 된다. 따라서 (flexibility<>test MSE)의 그래프는 U-형태의 곡선 모습을 하게 된다.