본문 바로가기
728x90
반응형

전체 글418

(Regression) Regularized Model-ElasticNet 기초 정리 ElasticNet은 앞서 학습한 Ridge와 LASSO의 장점들을 골고루 섞은 알고리즘이라고 보면 된다.아래 내용들을 통해서 조금 더 자세하게 공부해보자. # 함께 보면 좋은 게시물2024.07.02 - [Machine Learning/Regression Problem] - (Regression) Ridge regression 쉬운 풀이! (Regularized Model)  (Regression) Ridge regression 쉬운 풀이! (Regularized Model)Regularized Model- Ridge regression 설명과 쉬운 풀이   1. Ridge RegressionRidge Regression은 'β²에 Penalty Term을 부여하는 방식'이다.- Penalty Term.. Machine Learning/Regression Problem 2024. 8. 13.
(Regression) LASSO Code 실습 및 해설 (Regularized Model) # 학습 목적  1) LASSO    → Regularized Linear Model을 활용하여 Overfitting을 방지   → Hyperparameter lamba를 튜닝할 때, for loop 뿐만 아니라 GridsearchCV를 통해 돌출 2) Regularized Linear Models의 경우, X's Scaling을 필수적으로 진행 ※ LASSO는 L1 Norm으로 절대값을 가지고 β값에 λ(penalty term)을 줌으로써 Feature Selection까지 가능! → 불필요한 변수는 0이 되기 때문에 불필요한 β는 제거된다. → Ridge에서는 0에 수렴 # Process 1) Define X's & Y 2) Split Train & Valid dataset 3) Modeling 4).. Machine Learning/Regression Problem 2024. 7. 7.
(Regression) LASSO 기초 정리 (Ridge와 차이점은?) 기본적으로 앞서 학습한 Ridge와 큰 차이는 없지만, Penalty Term에 대해서 제곱으로 받을 것인지 절대값으로 받을 건지에 따라 차이가 난다. LASSO 란?Ridge와 어떻게 다른가?  1. Penalty Term을 활용한 Regularized Model LASSO1) LASSO(라쏘) 란? - LASSO는 'Least Absolute Shrinkage and Selection Operator'의 약자로, 절대값을 씌워서 'β'값을 줄인다 (with Selection)는 의미를 가지고 있다.- |β| = L₁ - norm = L₁ Regularization에 Penalty Term을 부여하는 방식  → Ridge의 경우에는 'β²'이고 L₂ Norm (=L₂ Regularization)  → .. Machine Learning/Regression Problem 2024. 7. 4.
(Regression) Ridge Code 실습 및 예제 (Regularized Model) # 학습 목적1. Linear Regression - 단순 Linear Regression을 활용하여 변수의 중요도 및 방향성을 알아봄 - 매우 심플한 모델이기 때문에 사이즈가 큰 데이터에 적합하지 않음  → 하지만, 설명력(해석력)이 큰 장점이 있음2. Ridge Regression - Regularized Linear Model을 활용하여 Overfitting을 방지함 → Ridge Regression은 'L2 norm'을 사용해서 selection은 안되지만, β의 값을 계속 낮출 수 있다. - Hyperparameter lamba를 튜닝할 때 for loop 뿐만 아니라 GridsearchCV를 통해 돌출 → CV : Cross Validation의 약자로 'K-fold'를 지정하여 데이터로 나누.. Machine Learning/Regression Problem 2024. 7. 3.
(Regression) Ridge regression 쉬운 풀이! (Regularized Model) Regularized Model- Ridge regression 설명과 쉬운 풀이   1. Ridge RegressionRidge Regression은 'β²에 Penalty Term을 부여하는 방식'이다.- Penalty Term을 추가한 'Regularized Model의 경우 Feature 간 Scaling이 필수'- β에 제곱을 붙이는 이유는 부호가 (-)인 경우도 있기 때문에  지난 게시물에 Simple/Multi-linear regression 할때 어떤 변수가 제일 중요한지 ranking을 수행할 수 있다고 학습했다. 이때 가장 중요한 것은 'Scaling'. 위의 수식에서 'λ'는 regularization parameter이자 penalty 개념다시 짚고 넘어가면,1) 만약 x1(10),.. Machine Learning/Regression Problem 2024. 7. 2.
(Regression) Feature selection을 보완한 기법, 'Penalty Term'이란? 기존의 Feature Selection의 한계점을 보완한 Penalty Term은 무엇이고 어떻게 사용하나? # 함께 보면 학습에 도움되는 게시물 (feature selection 기법) 2024.04.07 - [Machine Learning/Regression Problem] - (Regression) Overfitting 방지하는 Feature Selection 기법의 종류 정리 (Regression) Overfitting 방지하는 Feature Selection 기법의 종류 정리 Feature Selection을 왜 해야 하는지 어떤 종류들과 어떻게 사용하면 되는지 학습해보자 # 함께 보면 좋은 게시물 (모델 평가 및 지표) 2024.04.05 - [Machine Learning/Regression.. Machine Learning/Regression Problem 2024. 4. 10.
(Regression) Overfitting 방지하는 Feature Selection 기법의 종류 정리 Feature Selection을 왜 해야 하는지 어떤 종류들과 어떻게 사용하면 되는지 학습해보자 # 함께 보면 좋은 게시물 (모델 평가 및 지표) 2024.04.05 - [Machine Learning/Regression Problem] - (Regression) Model 평가 및 지표 해석하는 방법! - 성능지표 총 정리 (Regression) Model 평가 및 지표 해석하는 방법! - 성능지표 총 정리 모델의 성능이 얼마나 잘 나왔는지 확인하고 위한 Model 평가와 지표들에 대해서 학습해보자 (지난 게시물 참고) # 지난 게시물 (β(계수) 추정법 & p-value란?) 2024.04.05 - [Machine Learning/Regression Problem] - derrick.tistory... Machine Learning/Regression Problem 2024. 4. 7.
(Regression) Model 평가 및 지표 해석하는 방법! - 성능지표 총 정리 모델의 성능이 얼마나 잘 나왔는지 확인하고 위한 Model 평가와 지표들에 대해서 학습해보자 (지난 게시물 참고) # 지난 게시물 (β(계수) 추정법 & p-value란?) 2024.04.05 - [Machine Learning/Regression Problem] - (Regression) 모델의 에러를 가장 낮출 수 있는 'β(계수) 추정법' p-value란? (Regression) 모델의 에러를 가장 낮출 수 있는 'β(계수) 추정법' p-value란? 모델의 에러(Error) 수식('E(Y) = β(0) +β(1)X')를 바탕으로 가장 낮은 에러를 취하기 위한 β(계수)의 값은 무엇인지 추정하는 법에 대해 학습해보자 모델의 Error를 가장 낮추기 위한 'β (계수) 추정법' derrick.tist.. Machine Learning/Regression Problem 2024. 4. 5.
(Regression) 모델의 에러를 가장 낮출 수 있는 'β(계수) 추정법' p-value란? 모델의 에러(Error) 수식('E(Y) = β(0) +β(1)X')를 바탕으로 가장 낮은 에러를 취하기 위한 β(계수)의 값은 무엇인지 추정하는 법에 대해 학습해보자 모델의 Error를 가장 낮추기 위한 'β (계수) 추정법' 1. Mathematical Expression 1) Simple & Multi-Linear Regression 위의 수식처럼 참값(Y)에 불가피하게 붙는 Error(ε)를 가장 낮출 수 있는 추정값(E(Y), y^) β값을 찾아내는 것이 목표이다. 위의 수식과 같이 Error(ε)는 참값과 추정값(E(y))의 차이로 볼 수 있다. 'β0'은 y절편으로 x가 0일때의 값이고, 'β1'의 값은 추정한 모델의 기울기이다. → Multi-linear regression의 경우, 독립 .. Machine Learning/Regression Problem 2024. 4. 5.
(Regression) 쉽게 이해하는 Loss Function - Error, Variance, Bias 관계는? 현업 문제에서 접목시킬 수 있는 머신러닝 알고리즘 중, 가장 기본이 되는 것은 'Regression'. 기초적인 Loss function부터 Regularized Linear Model까지 학습을 해보자. Regression 알고리즘에서의 Loss Function이란? 1. Error of Model Loss function은 모델의 성능을 측정하거나 학습할 때 모델이 얼마만큼 잘 학습할 수 있는지 기준(척도)이다. # 좋은 알고리즘(Algorithm)의 기준 : 예상하고 있는 expected output의 퀄리티가 높게 나오는 경우와 에러도 낮은 경우에 해당된다. → 여기서의 에러(Error)는 loss function으로 정의될 수 있다. 1) 학습할 수 있는 데이터셋이 있고 2) 이 데이터셋을 알고.. Machine Learning/Regression Problem 2024. 4. 5.
반응형

티스토리툴바