유니의 개발일지

랜덤 포레스트의 개요 및 실습 배깅 Bagging: 같은 알고리즘으로 여러 개의 분류기를 만들어서 보팅으로 최종 결정하는 알고리즘- 배깅의 대표적인 알고리즘 : 랜덤 포레스트  랜덤 포레스트 : 여러 개의 결정 트리 분류기가 전체 데이터에서 배깅 방식으로 각자의 데이터를 샘플링해 개별적으로 학습을 수행한 뒤 최종적으로 모든 분류기가 보팅을 통해 예측 결정하는 것 - 개별적인 분류기의 기반 알고리즘 : 결정트리 - 개별 트리가 학습하는 데이터 세트는 전체 데이터에서 일부가 중첩되게 샘플링된 데이터 세트 - 랜덤 포레스트의 서브세트 Subset 데이터는 이러한 부트 스트래핑으로 데이터가 만들어진다.부트 스트래핑 (bootstrapping) 분할 방식 : 여러 개의 데이터 세트를 중첩되게 분리하는 것 (배깅 ..

앙상블 학습 개요: 앙상블 학습을 통한 분류는 여러 개의 분류기 (Classifier)를 생성하고 그 예측을 결합함으로써 보다 정확한 최종 예측을 도출하는 기법쉽게 말해서, 집단 지성을 이용해서 학습하는 것이라고 생각할 수 있다.  앙상블 학습의 유형- 보팅 (Voting), 배깅(Bagging), 부스팅(Boosting)의 세가지로 나뉜다.  보팅 vs. 배깅: 보팅과 배깅은 여러 개의 분류기가 투표를 통해 최종 예측 결과를 결정하는 방식 보팅 : 일반적으로 서로 다른 알고리즘을 가진 분류기를 결합하는 것- 대표적인 예시 : 랜던 포레스트 알고리즘- 선형회귀, K 최근접 이웃, 서포트 백터 머신이라는 3개의 ML 알고리즘이 같은 데이터 세트에 대해 학습하고 예측한 결과를 가지고 최종 예측 결과를 선정하..