데이터 불균형 처리 방법과 SMOTE 기법

데이터 불균형 처리 방법과 SMOTE 기법

1. 데이터 불균형이란?

머신러닝 및 딥러닝 모델을 학습할 때, 데이터셋의 클래스 분포가 균형을 이루는 것이 이상적입니다. 하지만 현실에서는 특정 클래스의 데이터가 매우 적거나 많은 경우가 발생하는데, 이를 데이터 불균형(Imbalanced Data)이라고 합니다.

예를 들어, 의료 데이터에서 특정 질병을 가진 환자의 수는 건강한 사람보다 훨씬 적은 경우가 많습니다. 이처럼 데이터 불균형이 심한 경우, 머신러닝 모델은 다수 클래스를 우선적으로 학습하고 소수 클래스에 대한 예측 성능이 떨어지는 문제가 발생할 수 있습니다.

2. 데이터 불균형이 문제를 일으키는 이유

데이터 불균형이 있는 경우 모델이 학습 과정에서 다음과 같은 문제를 일으킬 수 있습니다.

1. 모델이 다수 클래스를 선호: 대부분의 샘플이 다수 클래스로 구성되어 있기 때문에, 모델이 주어진 데이터를 편향적으로 학습할 가능성이 높습니다.
2. 소수 클래스 예측 성능 저하: 소수 클래스에 대한 샘플이 적어 충분한 학습이 이루어지지 않으며, 결과적으로 해당 클래스의 예측 성능이 낮아집니다.
3. 정확도가 높은 것처럼 보이는 착시 효과: 전체 정확도(Accuracy)만을 기준으로 모델을 평가하면, 다수 클래스 예측만으로도 높은 성능을 보이는 것처럼 보일 수 있습니다. 예를 들어, 전체 데이터 중 95%가 다수 클래스(A)이고, 5%가 소수 클래스(B)인 경우, 단순히 A만 예측해도 95%의 정확도를 얻을 수 있습니다.

3. 데이터 불균형을 해결하는 방법

데이터 불균형 문제를 해결하기 위해 여러 가지 기법이 사용됩니다. 크게 데이터 수준의 접근법과 모델 수준의 접근법으로 나눌 수 있습니다.

3.1 데이터 수준의 접근법

데이터를 직접 조작하여 클래스 균형을 맞추는 방법입니다.

3.1.1 언더샘플링(Under-sampling)

• 다수 클래스의 샘플 수를 줄여서 균형을 맞추는 방법
• 데이터 손실이 발생할 수 있음

from imblearn.under_sampling import RandomUnderSampler

X = [[1], [2], [3], [4], [5], [6], [7], [8], [9], [10]]  # 예제 데이터
y = [0, 0, 0, 0, 0, 1, 1, 1, 1, 1]  # 클래스 라벨

rus = RandomUnderSampler(random_state=42)
X_resampled, y_resampled = rus.fit_resample(X, y)
print(y_resampled)

3.1.2 오버샘플링(Over-sampling)

• 소수 클래스의 샘플을 늘려서 균형을 맞추는 방법
• 기존 데이터를 단순 복제하는 경우에는 과적합(Overfitting)의 위험이 있음

3.1.3 SMOTE(Synthetic Minority Over-sampling Technique)

• 새로운 소수 클래스 데이터를 생성하여 균형을 맞추는 방법
• 기존 데이터의 특징을 보존하면서 합성 데이터를 생성하므로 과적합을 방지할 수 있음

3.2 모델 수준의 접근법

데이터 불균형 문제를 해결하기 위해 모델의 학습 방식에 변화를 주는 방법입니다.

• 가중치 조정(Class Weighting): 모델 학습 시 소수 클래스에 높은 가중치를 부여하여 학습 성능을 향상
• 앙상블 학습(Ensemble Learning): 여러 개의 모델을 결합하여 성능을 개선
• 비용 민감 학습(Cost-sensitive Learning): 클래스별 손실 비용을 다르게 설정하여 학습 진행

4. SMOTE 기법 자세히 알아보기

4.1 SMOTE란?

SMOTE(Synthetic Minority Over-sampling Technique)는 소수 클래스 데이터를 단순 복제하는 것이 아니라, 기존 데이터 포인트 사이에서 새로운 샘플을 합성하여 생성하는 기법입니다.

기본적인 원리는 다음과 같습니다.

1. 소수 클래스 샘플에서 k개의 최근접 이웃(k-NN)을 찾음
2. 해당 이웃 중 하나를 무작위로 선택
3. 원본 데이터와 선택한 이웃 데이터 사이에서 새로운 샘플을 생성

이 방법을 사용하면 원본 데이터의 분포를 유지하면서도 데이터 양을 증가시킬 수 있습니다.

4.2 SMOTE 적용 예제

아래는 imblearn 라이브러리를 활용하여 SMOTE를 적용하는 예제입니다.

from imblearn.over_sampling import SMOTE
import numpy as np

# 예제 데이터 생성
X = np.array([[1], [2], [3], [4], [5], [6], [7], [8], [9], [10]])
y = np.array([0, 0, 0, 0, 0, 1, 1, 1, 1, 1])  # 클래스 라벨

# SMOTE 적용
smote = SMOTE(random_state=42)
X_resampled, y_resampled = smote.fit_resample(X, y)

print(y_resampled)

위 코드를 실행하면 기존 데이터의 특징을 유지하면서 새로운 소수 클래스 샘플이 생성됩니다.

5. SMOTE의 장점과 단점

5.1 장점

• 기존 데이터의 특성을 유지하면서 데이터 불균형을 해소할 수 있음
• 단순한 데이터 복제가 아니라 새로운 샘플을 생성하는 방식이므로 과적합을 방지할 수 있음
• 다양한 응용 분야에서 효과적으로 사용 가능

5.2 단점

• 생성된 데이터가 원본과 다소 차이가 있을 수 있음
• 고차원 데이터에서는 새로운 데이터가 적절하지 않을 수도 있음
• 가까운 이웃 샘플을 기반으로 합성하므로, 데이터 분포를 왜곡할 가능성이 있음

6. 결론

데이터 불균형 문제는 머신러닝 및 딥러닝 모델의 성능을 저하시킬 수 있는 중요한 문제입니다. 이를 해결하기 위해 다양한 접근법이 있으며, 특히 SMOTE 기법은 소수 클래스의 데이터를 효과적으로 증가시킬 수 있는 강력한 방법입니다.

실전 프로젝트에서 데이터 불균형을 마주했을 때, 단순히 데이터 수를 맞추는 것보다 SMOTE와 같은 기법을 활용하여 데이터 분포를 조정하는 것이 더욱 효과적이라는 점을 기억하시기 바랍니다.