(Regression) Regularized Model-ElasticNet 기초 정리

ElasticNet은 앞서 학습한 Ridge와 LASSO의 장점들을 골고루 섞은 알고리즘이라고 보면 된다.
아래 내용들을 통해서 조금 더 자세하게 공부해보자.

 

# 함께 보면 좋은 게시물

2024.07.02 - [Machine Learning/Regression Problem] - (Regression) Ridge regression 쉬운 풀이! (Regularized Model) 

(Regression) Ridge regression 쉬운 풀이! (Regularized Model)

 

2024.07.02 - [Machine Learning/Regression Problem] - (Regression) LASSO 기초 정리 (Ridge와 차이점은?)

(Regression) LASSO 기초 정리 (Ridge와 차이점은?)

 

ElasticNet = Ridge + LASSO
(Regularized Model)

 

 

 

---

1. ElasticNet이란?

1) 수식 표현

- Ridge와 LASSO의 장단점은 분명하게 있다.
- ElasticNet은 Ridge의 L₁-norm과 LASSO의 L₂-norm을 섞어놓은 알고리즘 (2개의 장점 사용 가능)

 

 

위의 사진 속 수식을 보면 |βj| 와 βj^2가 모두 존재한 것을 확인할 수 있다.
→ |βj| : LASSO의 penalty term
→ βj^2 : Ridge의 penalty term

이 2가지를 통해서 t에 대해 제한을 거는 방식이고,
s₁이 0일 때는 Ridge가 되고, s₂가 0일 때는 LASSO 알고리즘이 적용되는 원리.
이처럼 ElasticNet은 s₁ 와 s₂를 컨트롤해서 LASSO와 Ridge를 선택해서 사용할 수 있고 둘다 동시에 사용할 수도 있다.
→ 종종 s₁과 (1 - s₁) 으로도 표현된다. 이 경우 s₁는 0과 1 사이의 값

2) λ₁ 값의 변화에 따른 feature 추이

- λ₁ : LASSO Penalty Term (Feature Selection)
- λ₂ : Ridge Penalty Term (다중공선성 방지)
→ ElaticNet은 Correlation이 강한 변수를 동시에 선택/배제하는 특징을 가지고 있음

 

 

위의 그래프에서 볼 수 있듯이 λ₁값이 증가할수록 0에 수렴하는 것을 확인할 수 있다. (Feature Selection)

 

[ Elasticnet ]

위와 같이 일정 범위 내로 λ₁와 λ₂값을  조정함으로써 가장 좋은 예측 결과를 보이는 것으로 선정
→ 하지만, Ridge와 LASSO 보다 더 많은 실험이 필요하다는 단점이 존재한다.

3) Ridge와 LASSO의 해공간과 비교

아래 Ridge와 Lasso의 해공간 그래프를 한번 보면, 제곱이 들어간 원형이 Ridge이고 마름모 모양이 Lasso이다.

 

 

---

2. Ridge, LASSO, ElasticNet 외

지금까지 학습한 Ridge, LASSO, ElasticNet 외에도 더 많은 Regularization Method 알고리즘들이 있다.

 

 

- Fused Lasso (인접한 변수들 동시 선택)
 : 어느 특정 변수가 유의미한 변수로 selection이 된다면, 그 인접한 변수들도 함께 selection 된다.

 

이와 같이 Ridge, LASSO, ElasticNet 기반으로 Regularization이 들어가기 때문에 꼭 이 3가지는 알아야 유용하다.
그리고 알고리즘을 그냥 돌리는 것보다는 그 작동 원리를 꼭 알고 사용해야 더 다방면으로 심도있게 사용할 수 있다.