arXiv.itsnick.co

an independent field guide to 23 million papers from arXiv & OpenAlex — not affiliated with arXiv.org

Computer Science · Artificial Intelligence

Cross-validation-based adaptive shrinkage for tree ensemble predictions

Wooyoung Shin, Suin Kim

· Journal of the Korean Data and Information Science Society

See on the map

Abstract

본 연구에서는 트리 기반 앙상블 모형에 대한 교차 검증 기반 적응적 수축 추정 방법론을 제안한다. 기존의 수축 추정 방법론은 선형 모형의 회귀 계수를 수축 대상으로 삼고 있어 랜덤 포레스트, LightGBM, XGBoost 등 회귀 계수가 명시적으로 정의되지 않는 트리 기반 앙상블 모형에는 직접 적용하기 어렵다. 본 연구에서는 수축의 단위를 관측값별 예측값으로 전환하고, K-fold 교차 검증에서 산출되는 fold 모형 간 예측 불안정성을 활용하여 수축 계수를 관측값마다 적응적으로 결정하는 방식을 도입한다. 이러한 접근은 특정 알고리즘의 내부 분산 추정 구조에 의존하지 않는 예측값 후처리 프레임워크를 제공한다. 다양한 함수 구조와 오차 분포를 아우르는 모의 실험에서 제안된 방법론은 기준 예측량 대비 MSE를 대체로 감소시켰으며, 특히 오차가 비대칭적이거나 예측 불안정성이 큰 설정에서 개선 폭이 크게 나타났다. 반면 대칭 오차와 소표본이 겹치는 일부 설정에서는 손실이 발생할 수 있음을 확인하였다. 실제 데이터 분석에서는 모든 데이터셋과 알고리즘에서 일관된 개선이 관찰된 것은 아니나, 일부 설정에서 의미 있는 MSE 감소가 확인되었다.

More like this