(딥러닝 온라인)딥러닝의 3 STEP의 기초 (4~6강)

참고) 해당 포스팅은 패스트 캠퍼스 100% 환급 챌린지 미션 기록용 포스팅이며, 강좌 내용에 맞추어 포스팅함을 언급

 

클립명 : PART4)딥러닝의 3 STEP의 기초

           쉽게 배우는 역전파 학습법 (STEP 2) - 역전파 학습법을 이용한 심층 신경망 학급 - 1

          쉽게 배우는 역전파 학습법 (STEP 2) - 학습법의 수식적 이해 - 1

          쉽게 배우는 역전파 학습법 (STEP 2) - 학습법의 수식적 이해 - 2

 

본 포스팅은 역전파 학습법 코드를 마저 살펴보기 전에, Ridge Regression까지 회귀분석의 대한 방법과 독립변수들의 계수(Coefficient)를 어떻게 선별할 것이며, 어떻게 구하는지를 Python을 이용해 구하보았다

 

실례로 많은 데이터를 접하고 분석하면서 많은 고민들을 하는데 그 중 하나가 바로 Overfitting다. 과거의 사건이 미래의 그대로 일어난다는 보장도 없고, 실례로 최근 금융시장을 관찰해 보면 과거에는 관찰할 수 없었던 현상들이 빈번하게 반복되고 있다.

 

지금도 채권 운용과 관련된 전략들을 구현하면서 저 주제에 대해서 '과적합도(Overfitting)'의 대해서 많은 고민을 한다. 전략을 구현할 때 Sample 기간을 어떻게 설정할 것이며 너무 과거의 결과에만 집중되서 전략을 구현하면 아무래도 추후 상황들을 반영하지 못할 수 있으니, 어떻게 해야될지 고민이 크다.

 

 

이번 포스팅의 제목을 Penalty를 설정하며 글을 올리는 것도 이러한 고민을 어느정도는 해결하기 위함?이랄까

 

아직 Lasso의 대한 포스팅은 안 다뤘지만, 그 전에 Penalty Function의 대한 생각이 필요할 것 같다.

 

데이터도 적고, 그러한 데이터를 분석하기 위해 다양한 방법론은 적용해보면 과적합화 할 때가 있다. 따라서, 그러한 것을 방지하기 위해 적용하는 것이 바로 Penalty Function이다.

위의 그림에서 나오는 Cost를 RSS라고 생각을 해보면 Loss Function까지 만을 고려한 것이 다중 선형회귀 분석이다. 하지만 지난번 포스팅에서도 언급했듯이 Loss Function만 고려하면 계수가 불안정하기 때문에 저러한 Regularization을 고려한 것이고 그중 L2 Regularization이 바로 Ridge Regression이다. (L1 Regularization = Lasso Regression)

 

저렇게 Penalty Function을 고려하므로써, y(종속변수)값만 고려한 W(계수)의 결과값을 어느정도 방지하는 것이 Regularization의 골자이다.

 

Ridge Regression의 경우 L2 정규화이기 때문에 독립변수가 '0'이 되는 경우가 거의 불가능하며, Lasso Regression의 경우 독립변수를 0으로 만들 수도 있다.

 

그 이유에 대해서는 Lasso를 소개하며 계수(W)를 구하는 방법까지 소개 한 후 그의 대해서 면밀히 살펴보도록 하겠다

 

다음번 포스팅으로 가지 전에 이미 언급은 했지만 Penalty를 왜 고려하며, Ridge와 Lasso Regression 방법론이 왜 나오게 되었는지, 그리고 그들의 필요성이 무엇때문인지를 한번 더 고려를 해보는 시간을 가졌으면 좋겠다.

 

(글자수 : 2000자 이상)

강의 소개 링크 : bit.ly/3cx6kMd

딥러닝/인공지능 올인원 패키지 Online. | 패스트캠퍼스