[Ensemble Learning] Bagging vs. Boosting

Ensemble Learning이란?

여러 개의 base-learner(base-model)를 조합하는 모델

Bagging

- 다른 이름: Bootstrap Aggregating

- Bootstrap: Random Sampling 방법론 중 하나. 복원 추출을 시행한다.

- 복원 추출을 통해 동일한 크기의 데이터셋을 여러 개 생성한 후, 앙상블을 구성하는 학습 방식

- 단점: 랜덤 샘플링은 운에 의존한다.

만약, decision tree를 학습시킨다고 가정해보자.

boostrap으로 데이터를 추출할 경우, 복원 추출이기 때문에 같은 데이터가 여러 번 뽑힐 수 있고, 그렇기 때문에 데이터셋끼리 유사하다. 그러므로 이런 경우 decision tree의 root node는 모델 간에 항상 비슷해질 수밖에 없다. 

Boosting

- Bagging과 같은 방법이 randomness에 의존한다는 단점을 보완하기 위해 고안된 방식

- 전체 데이터셋을 3개로 분할한다. (D1, D2, D3)

- 학습 방식

base-learner를 3개 학습시킨다.

1. h1을 D1으로 학습시킨다.

2. h2를 D2 중 h1이 틀렸던 문제 + 맞았던 문제 같은 비율로 구성된 데이터셋으로 학습시킨다.

3. h3을 h2가 틀렸던 문제 데이터셋으로 학습시킨다.

- 예측 방식

h1(x)=h2(x)라면, h1(x)를 반환.

아니라면 h3(x)을 반환. => 틀렸던 문제만으로 학습된 모델이므로 가장 맞을 확률이 높다.