AIC, BIC

AIC(Akaike Information Criterion)과 BIC(Bayesian Information Criterion)는 특정 데이터를 모델링한 여러 후보군 모델들 중 가장 좋은 모델을 선택할 수 있게 돕는 Model selection 방법들이다.

 

$AIC = -2\ln (Likelihood) + 2p$

$BIC = -2\ln (Likelihood) + p\ln n$

$ p : $변수(파라미터) 개수,   $n :$ 데이터값개수

 

위 식에서 볼 수 있듯이, AIC와 BIC는 모두 likelihood가 커질수록, 변수 개수(p)가 적을수록 작은 값을 가지게 된다. 이를 활용해 Model selection시 AIC와 BIC가 최소화되는 likelihood와 변수 개수를 가진 모델을 가장 좋은 모델로 선정한다(likelihood는 클 수록 좋고, 적은 수의 변수로 더 잘 설명할수록 좋은 모델이기 때문).

즉, AIC와 BIC가 작게 나온 모델일 수록 좋은 모형이라고 볼 수 있다.

 

BIC의 경우 AIC의 $2p$를 $p\ln n$ 으로 바꾼것을 확인할 수 있는데, 이 때문에 n이 8보다 큰 경우$2p < p\ln n$가 성립한다. 즉, n이 8보다 큰 데이터셋을 가지고 있다면 BIC가 변수 개수에 더 민감하게 반응할 것이라는 것을 알 수 있다. 대부분의 데이터셋의 경우 데이터셋 개수(n)는 8보다 크기 때문에, BIC를 쓴다는 것은 변수 개수(p)를 줄이는 것에 더 큰 의미를 두겠다는 것이다.