쉽게 배우는 역전파 학습법 개념_ Step2

참고) 해당 포스팅은 패스트 캠퍼스 100% 환급 챌린지 미션 기록용 포스팅이며, 강좌 내용에 맞추어 포스팅함을 언급

 

클립명 : PART4)딥러닝의 3 STEP의 기초

           쉽게 배우는 역전파 학습법 (STEP 2) - 역전파 학습의 필요성

           쉽게 배우는 역전파 학습법 (STEP 2) - 학성함수와 연쇄법칙

           쉽게 배우는 역전파 학습법 (STEP 2) - 학습법의 수식적 이해_1

이번 포스팅에서는 역전파 학습법에 대해서 설명한다. 아마 다음 포스팅에서도 역전파 학습법의 대해서 마저 또 다룰 것이다.

저번 포스팅에서는 역전파 학습법에서 사용되는 용어들만 정리했다면 오늘은 역전파 학습법의 필요성의 대해서 알아보도록 한다. 지금까지(역전파 학습법을 배우기 전)까지는 우리가 배워왔던 것을 순전파 학습법이라고 한다면, 인풋 레이어를 기초로 아웃풋 레이어(은닉계층)을 생산하는데 있어 활동합수(Activative Function)을 설정했으며, 손실함수(Loss Function)을 설정해서 모델값과 실제값의 차이를 통해 모델의 성능을 판단하는 역활까지 했다. 이렇게 우리는 각 레이어를 옮기면서 계산만을 진행했을 뿐, 다른 작업들을 진행하지는 않았다. 모든 학습횟수(Epoch)가 다 돌때까지 그저 손실함수와 실제값의 차이를 좁혀나가는 걸로 생각하면서 배웠다.

그래서 실제 손실률을 줄이기 위해 학습횟수를 어느정도 더 늘려야 하나? 라는 고민이 있었을 것이고, 만약 모델의 레이어가 많거나 학습 횟수에 따라 계산량이 증가한다면 이는 또다른 손실(시간이 오래걸림)을 초래할 수 있다. 즉, 학생에게 있어 수학 시험을 보는데, 학생이 똑같은 시험지로 시험을 볼때마다 60점 -> 70점 -> 80점까지는 오르지만, 여기서 똑같은 시험을 보는 횟수를 더 늘려 100점까지 도달한들, 그것은 어쩌면 학생의 수학 실력이 향상된 것이 아닌 어쩌면 해당 시험지에 답을 다 외워서 도달한 걸 수도 있다.

따라서 같은 시험지로 계속 시험을 보는 것이 아닌 뭔가 다른 변화를 줘야할 것이다. 그리고 해당 모델에서 새로운 환경이 주어졌을떄 과연 얼마나 효율적으로 성능을 낼 수 있을지도 당연히 판단해야될 문제(오버피팅)와도 연관이 되어있다고 생각한다. 그렇다면 여기서 문제를 해결하는 방법이 무엇을까?를 생각해보면 다음과 같다. 모델 전체를 다시 바꾸거나 아니면 큰 손실을 일으키는 부분을 찾아 수정하거나 둘 중에 하나로 우선 좁혀진다.

다시 수학과외로 예를 들어보자. 만약에 학생의 수학성적이 계속해서 안 나온다면, 문제집을 바꿔야 할까? 아니면 시험 문제중에서 약한 부분을 선정해서 그 부분을 개선하는 방법으로 할까? 우선 딱 봐도 전자보다는 후자가 훨씬 더 효율적으로 판단된다.

시험을 2~3번 보고 점수의 진전이 없으면 문제집을 바꾸거나 학습방법을 바꾸는 것이 아니라 우선 시험지를 살펴보고 문제가 되는 부분을 살펴봐야 한다. 그래서 문제가 되는 부분이 수학 실력 전반적이라면 학습방법을 바꿔야 할 것이고, 그게 아니라 일정 부분만 취약해서 나타나는 현상이라면 그 부분을 이해 못했으니 그 부분에 대한 방법을 수정하거나 보완하는 쪽으로 개선해야 할 것이다.

아마 지금까지 강의를 듣고 내가 파악한 역전파학습법의 필요성이라는 것도 그렇다.

수업 강의자료 _ 역전파학습법의 수식적 이해

이후의 내용은 다음 포스팅에서 언급하겠다

(글자수 : 1100자 이상)

강의 소개 링크 : bit.ly/3cx6kMd

딥러닝/인공지능 올인원 패키지 Online. | 패스트캠퍼스