딥러닝의 3 STEP의 기초 (7 ~ 9강)

참고) 해당 포스팅은 패스트 캠퍼스 100% 환급 챌린지 미션 기록용 포스팅이며, 강좌 내용에 맞추어 포스팅함을 언급

 

클립명 : PART4)딥러닝의 3 STEP의 기초

           가장 단순한 신경망을 통한 작동원리 02. (STEP 1) 얕은 신경망을 이용한 분류와 회귀,

           가장 단순한 신경망을 통한 작동원리 03. (STEP 2) 얕은 신경망의 수식적 이해,

           가장 단순한 신경망을 통한 작동원리 04. (STEP 2) 회귀 문제의 이해 

 이번 포스팅에서는 '얕은 신경망 구조'를 수식적으로 파악해보는 시간을 갖는다

수업자료. STEP2 얕은 신경망의 수식적 이해

우선 얕은 신경망이란 입력 계층(INPUT LAYER), 은닉 계층(HIDDEN LAYER), 출력 계층(OUTPUT LAYER)로 구성된 신경망을 의미한다.

우선 입력 계층부터 살펴보자. 여기서 입력 계층이란 우리가 생각하는 X값들이라고 생각하면 된다. 그리고 우리가 생각하는 Y가 출력 계층이라고 생각하면 된다. 여기서 말하는 Y는 실제 Y값이라기 보다 모델로 만들어진 값이라고 하자. 그리고 그 사이에 은닉 계층이 존재하는 것이 얕은 신경망의 구조다. 즉, 단순하게 X값은 모델에 대입 후 Y값을 뽑아낸 것이 아닌 은닉 계층에서 데이터 정데를 한다고 보면 된다.

이제 각 계층별로 역활을 살펴보기 전에 계층끼리 어떻게 연결되어 있는지에 대한 구조부터 먼저 살펴보자.

수업자료. STEP2 얕은 신경망의 수식적 이해

우선 각 뉴련들은 다음과 같이 구성되어 있다고 보면 된다. 즉, 위의 같은 예제를 N개의 입력계층으로 부터 1개의 LAYER로 연결되는 뉴런이라고 하자. 그런 연결되는 방법은 다음과 같이 W와 X와의 벡터의 내적으로 표현된다. 그리고 B는 편향을 의미하는데, 만약 B가 0이라면 W와 X의 내적은 당연히 0벡터를 지나는 선만으로 표시되므로 재약이 발생하게 된다. 그리고 0이 아닌 B라는 상수를 하나 추가함으로써 다양한 내적벡터를 표시하기 위해 추가했다고 생각하면 된다. 그리고 A는 내적 벡터의 가중치인데, 

수업자료. STEP2 얕은 신경망의 수식적 이해

위의 그림과 같이 입력 계층에서 여러 계층으로 연결할 때 다양한 레이어를 표시할 수 있을거고 그의 따른 가중치를 나타낸다고 보면 된다.

이렇게 표현된다는 것을 파악하고, 다시 은닉 계층부터 살펴보면

수업자료. STEP2 얕은 신경망의 수식적 이해

은닉 계층은 입력 계층으로부터 연결된 하나의 뉴런들이 LAYER 수만큼 있다고 표현되면 된다. 예를 들어 회귀 알고리즘으로 얕은 신경망을 표현하면

수업자료. STEP2 얕은 신경망의 수식적 이해

다음과 같이 표현이 된다. 즉 3개의 X값을 받아 4개의 H값들을 통해서 한개의 Y값을 생성한다고 보면 된다. 그리고 여기서 은닉 계층 밑 출력 계층이 연결이 될때는 위의 뉴런 식으로 연결된다고 보면 된다. 평상시 우리가 회귀 알고리즘이라고 하면 입력계층과 출력계층을 뉴런의 수식대로 표현한 것을 의미한다. 그리고 입력계층과 은닉계층을 연결할 때 오차를 가장 작게 만들어 주는 W의 값을 찾는 것이 회귀 알고리즘인데, 여기서는 은닉 계층이 포함되면서 X를 그냥 사용하는 것이 아닌 한 번 변형 후에 사용하는것을 알 수 있다. 좀 더 자세히 이해하려면 직접 계층들간의 관계를 직접 코드로 구현하는 수밖에는 없을것 같고 추후 다뤄볼 것이다.

(글자수 : 1200자 이상)

강의 소개 링크 : bit.ly/3cx6kMd

딥러닝/인공지능 올인원 패키지 Online. | 패스트캠퍼스