참고) 해당 포스팅은 패스트 캠퍼스 100% 환급 챌린지 미션 기록용 포스팅이며, 강좌 내용에 맞추어 포스팅함을 언급
클립명 : PART4)딥러닝의 3 STEP의 기초
쉽게 배우는 경사하강 학습법 (STEP 2) - 03. 최적화 이론과 수학적 표현
쉽게 배우는 경사하강 학습법 (STEP 2) - 04. 경사하강 학습법
쉽게 배우는 경사하강 학습법 (STEP 2) - 05. 심화 경사 하강법
이번 포스팅에서는 경사하강법에 대해서 설명한다.
딥러닝이나 머신러닝의 학습과정에 있어 결론은 모델을 만드는 것이 아니라 입력된 데이터를 모델이 최대한 설명할 수 있겠끔 만들어주는 파라미터를 찾는것이다. 그러한 파라미터의 학습은 이전 포스팅에서도 언급 했듯이 Loss Function(실제값과 모델값의 차이의 합을 구하는 함수)결과값을 최소로 만들어주는 파라미터를 찾는 것이고, 그러한 파라미터는 찾는 방법 중 하나가 경사하강법이다.
경사하강법의 경우 의미는 단순하다. 우리가 설정한 Loss Function에 X를 순차적으로 대입하면서 가장 작은 결과물을 출력하는 X값을 찾는 것이다. 컴퓨터적 관점을 생각해보자. 우리가 함수를 만들어서 컴퓨터에 코딩으로 구현한다고 하지만, 정작 계산하는 컴퓨터 입장에서는 함수가 어떻게 생겼는지 알 수 없다. 그러니 X를 어느정도로 움직일 것인지도 모델을 구현하는 자의 판단이다.
위의 그림은 수업시간에 경사 하강법을 설명한 자료다. 자료를 보면 알 수 있지만 Xn-1에서 Xn으로 갈때가 문제인데, 식의 Alpha값을 어떻게 설정하느냐의 따라 X가 움직이는 정도가 달라지며, 결과적으로 어느 스텝만큼만으로 X에 도달할지는 Alpha값의 역활이 크다.
따라서 Alpha값을 어떻게 조절할지도 앞으로 모델의 학습과정에서 중요한 부분이라고 파악된다. 결론적으로, 경사하강법이란 Loss Function에서 X의 값을 업데이트 하면서 함수의 최소지점을 만들어주는 X를 찾는 것이다. 그리고 X를 찾는 방법중에 하나가 경사하강법이라고 할 수 있겠다.
(글자수 : 1150자 이상)
강의 소개 링크 : bit.ly/3cx6kMd
딥러닝/인공지능 올인원 패키지 Online. | 패스트캠퍼스
Tensorflow2.0부터 Pytorch까지 딥러닝 대표 프레임워크를 정복하기. 생활 깊숙이 침투한 인공지능, 그 중심엔 딥러닝이 있습니다. 가장 강력한 머신러닝의 툴로서 주목받는 딥러닝은 생각보다 어려
www.fastcampus.co.kr
'Deep Learning & AI > AI' 카테고리의 다른 글
| 쉽게 배우는 역전파 학습법 개념_ Step1 (0) | 2021.04.03 |
|---|---|
| 얕은 신경망에서 경사하강 학습법 실습 (0) | 2021.03.25 |
| 딥러닝의 3 STEP의 기초 (10 ~ 12강) (0) | 2021.03.17 |
| 딥러닝의 3 STEP의 기초 (7 ~ 9강) (0) | 2021.03.15 |
| 딥러닝의 3 STEP의 기초 (4~6강) (0) | 2021.03.09 |
