머신러닝 하이퍼파라미터 튜닝: 그리드 서치 vs 랜덤 서치 완벽 비교 (예제 포함)

머신러닝 하이퍼파라미터 튜닝: 그리드 서치 vs 랜덤 서치 완벽 비교 (예제 포함)

딥러닝 및 머신러닝 모델을 최적화하는 과정에서 하이퍼파라미터 튜닝은 매우 중요한 역할을 합니다. 모델의 성능을 최대한 끌어올리기 위해서는 적절한 하이퍼파라미터를 찾아야 하며, 이를 위한 대표적인 기법으로 그리드 서치(Grid Search) 와 랜덤 서치(Random Search) 가 있습니다. 이번 포스팅에서는 두 가지 기법을 비교하고, 각각의 장단점 및 실전 적용 방법을 설명하겠습니다.

---

1. 하이퍼파라미터 튜닝이란?

하이퍼파라미터(Hyperparameter)란 모델 학습 과정에서 사용자가 직접 설정해야 하는 변수들을 의미합니다. 예를 들어, 신경망 모델에서는 학습률(learning rate), 배치 크기(batch size), 은닉층(hidden layers)의 개수 등이 하이퍼파라미터에 해당합니다. 적절한 하이퍼파라미터를 찾는 과정이 바로 하이퍼파라미터 튜닝이며, 이 과정에서 모델의 성능이 크게 달라질 수 있습니다.

하이퍼파라미터를 최적화하는 방법으로는 여러 가지가 있지만, 가장 대표적인 두 가지 방법이 그리드 서치 와 랜덤 서치 입니다.

---

2. 그리드 서치(Grid Search)

(1) 개념

그리드 서치는 사용자가 미리 정의한 하이퍼파라미터 값의 조합을 모두 탐색하여 최적의 조합을 찾는 방법입니다. 즉, 가능한 모든 하이퍼파라미터 조합을 평가하고, 가장 성능이 좋은 조합을 선택합니다.

(2) 특징

• 하이퍼파라미터의 모든 조합을 체계적으로 탐색함
• 조합 개수가 많아질수록 연산 비용이 증가함
• 최적의 조합을 놓치지 않음 (하지만 연산량이 많음)

(3) 코드 예제

다음은 GridSearchCV 를 이용하여 서포트 벡터 머신(SVM)의 최적 하이퍼파라미터를 찾는 예제입니다.

from sklearn.model_selection import GridSearchCV
from sklearn.svm import SVC
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

# 데이터 로드 및 분할
iris = load_iris()
X_train, X_test, y_train, y_test = train_test_split(iris.data, iris.target, test_size=0.2, random_state=42)

# 하이퍼파라미터 후보 설정
param_grid = {
    'C': [0.1, 1, 10, 100],
    'kernel': ['linear', 'rbf', 'poly'],
    'gamma': [0.01, 0.1, 1]
}

# Grid Search 실행
grid_search = GridSearchCV(SVC(), param_grid, cv=5, scoring='accuracy', n_jobs=-1)
grid_search.fit(X_train, y_train)

# 최적의 하이퍼파라미터 출력
print("Best Parameters:", grid_search.best_params_)

이 코드는 C, kernel, gamma 세 개의 하이퍼파라미터 조합을 전수 조사하여 최적의 조합을 찾는 예제입니다.

---

3. 랜덤 서치(Random Search)

(1) 개념

랜덤 서치는 그리드 서치와 달리, 미리 정의된 범위 내에서 무작위로 일부 조합을 선택하여 탐색하는 방법입니다. 즉, 모든 조합을 시도하는 것이 아니라 무작위로 일부만 샘플링하여 평가합니다.

(2) 특징

• 일부 조합만 선택하여 탐색하므로 연산 비용이 절감됨
• 그리드 서치에 비해 빠르게 최적의 하이퍼파라미터를 찾을 가능성이 있음
• 탐색하지 않은 조합 중 더 좋은 조합이 있을 가능성이 존재함

(3) 코드 예제

다음은 RandomizedSearchCV 를 이용하여 랜덤 서치를 실행하는 예제입니다.

from sklearn.model_selection import RandomizedSearchCV
import numpy as np

# 하이퍼파라미터 후보 설정
param_dist = {
    'C': np.logspace(-2, 2, 10),
    'kernel': ['linear', 'rbf', 'poly'],
    'gamma': np.logspace(-2, 1, 10)
}

# Random Search 실행
random_search = RandomizedSearchCV(SVC(), param_distributions=param_dist, n_iter=10, cv=5, scoring='accuracy', n_jobs=-1, random_state=42)
random_search.fit(X_train, y_train)

# 최적의 하이퍼파라미터 출력
print("Best Parameters:", random_search.best_params_)

이 코드는 RandomizedSearchCV 를 사용하여 10개의 랜덤 샘플을 뽑아 최적의 하이퍼파라미터를 찾는 예제입니다.

---

4. 그리드 서치 vs 랜덤 서치 비교

비교 항목	그리드 서치(Grid Search)	랜덤 서치(Random Search)
탐색 방법	모든 조합을 탐색	일부 조합만 무작위로 탐색
계산 비용	높음	낮음
최적 조합 발견 가능성	높음 (전수 조사)	낮음 (일부 탐색)
효율성	조합이 많아질수록 비효율적	빠른 탐색 가능
활용 사례	작은 검색 공간에서 유리	큰 검색 공간에서 유리

---

5. 결론 및 추천

• 모든 하이퍼파라미터 조합을 탐색할 수 있을 때 → 그리드 서치 추천
• 연산 비용이 너무 클 때 → 랜덤 서치 추천
• 시간이 충분하고 최적의 조합을 꼭 찾아야 할 때 → 그리드 서치 추천
• 시간이 제한적이고 적절한 조합을 빠르게 찾고 싶을 때 → 랜덤 서치 추천

딥러닝과 같이 수많은 하이퍼파라미터가 존재하는 경우 랜덤 서치가 더욱 현실적인 선택일 수 있습니다. 하지만 검색 공간이 작다면 그리드 서치도 충분히 고려할 수 있습니다. 또한 최근에는 베이지안 최적화(Bayesian Optimization), 하이퍼밴드(Hyperband) 등의 더 효율적인 하이퍼파라미터 최적화 기법들이 등장하여 활용되고 있습니다.