참고) 해당 포스팅은 패스트 캠퍼스 100% 환급 챌린지 미션 기록용 포스팅이며, 강좌 내용에 맞추어 포스팅함을 언급
클립명 : PART4)딥러닝의 3 STEP의 기초
쉽게 배우는 역전파 학습법 (STEP 1) - 심층 신경망의 구조
쉽게 배우는 역전파 학습법 (STEP 2) - 역전파 학습법의 개념
쉽게 배우는 역전파 학습법 (STEP 2) - 심층심경망의 수학적 이해
이번 포스팅에서는 역전파 학습법에 대해 설명한다.
참고) 의존성 있는 함수의 계산 : 동일 연산이 2회 필요하므로, 중복되는 계산이 1회 발생한다.
함고) 동적 계획법(Dynamic Programming) : 첫 계산 시 값을 저장하므로 중복 계산이 발생하지 않는다.
첨고) 연쇄 법칙(Chain Rule) : 연속된 두 함수의 미분은, 각 함수의 미분을 연쇄적으로 곱한 것과 같다.
1. 심층 신경망의 미분(출력계층) : 연쇄 법칙을 이용하려면 손실 함수의 미분이 필요하다.
2. 마지막 은닉 계층의 미분: 연쇄 법칙을 이용하려면 손실 함수, 출력 계층의 미분이 필요하다. 출력 계층, 손실 함수의 미분을 저장해 두면(동적 계획법)중복 연산을 피할 수 있다.
3. 은닉 계층의 미분 : 연쇄 법칙을 이용하려면 손실 함수, 출력 계층, 사이의 모든 은닉 계층의 미분이 필요하다.
4. 순방향 추론(Forward Inference) : 현재 매개변수에서의 손실 값을 계산하기 위해 순차적인 연산을 수행하는 것을 순방향 추론이라 한다. 학습을 마친 후 알고리즘을 사용할 때에는 순방향 추론을 사용한다.
5. 역전파 학습법(Back-Propagation) : 심층 신경망의 미분을 계산하기 위해, 연쇄 법칙과 동적 계획법을 이용하여 효율적으로 계산 할 수 있다. 이 과정이 순방향 추론과 반대로 이루어지기 때문에 이를 역전파 학습법이라 한다.(메모리를 사용해서 계산이 이루어지기 때문에 계산 속도가 상대적으로 빠르다)
6. Fully Connected Layer(전결합 계층) : FC Layer의 연산은 행렬곱 연산으로 표현할 수 있는 것을 Remind하자.<- 참고로 이 부분은 매트릭스로 표현할 수 있으며 (y = a(Wx+b))로 나타낼 수 있다.
7. 심층신경망의 수학적 표현은 다음 그림과 같다.
참고로 인공 신경망이 순전파 과정을 진행하여 예측값과 실제값의 오차를 계산하였을 때 어떻게 역전파 과정에서 경사 하강법을 사용하여 가중치를 업데이트하는지 직접 계산을 통해 이해하는 것이 중요.
그리고 이는 순전파 -> 역전파 -> 가중치 업데이트 -> 순전파 -> 역전파 -> 가중치 업데이트 ... 이런식으로 계속 반복하면서 오차값이 0에 가까와지게 되는것에서 사용이 되는데 수식적인 표현은 다음 포스팅에서 언급하도록 한다.
(글자수 : 1100자 이상)
강의 소개 링크 : bit.ly/3cx6kMd
딥러닝/인공지능 올인원 패키지 Online. | 패스트캠퍼스
Tensorflow2.0부터 Pytorch까지 딥러닝 대표 프레임워크를 정복하기. 생활 깊숙이 침투한 인공지능, 그 중심엔 딥러닝이 있습니다. 가장 강력한 머신러닝의 툴로서 주목받는 딥러닝은 생각보다 어려
www.fastcampus.co.kr
'Deep Learning & AI > AI' 카테고리의 다른 글
| (딥러닝 _ 온라인)쉽게 배우는 역전파 학습법 _ 수치 미분을 이용한 심층 신경망 학습 구현_1 (0) | 2021.04.08 |
|---|---|
| 쉽게 배우는 역전파 학습법 개념_ Step2 (0) | 2021.04.04 |
| 얕은 신경망에서 경사하강 학습법 실습 (0) | 2021.03.25 |
| 쉽게 배우는 경사하강 학습법 4 ~ 6 (0) | 2021.03.24 |
| 딥러닝의 3 STEP의 기초 (10 ~ 12강) (0) | 2021.03.17 |
