딥러닝 왕초보 나를 위한 기초! 2장 Deep Learning Basic2 신경망(Neural Network)
이번 글은 딥러닝 기초 강의 2장입니다!
2장에서는 신경망(Neural Network)과 신경망 중 하나인 RNN (Recurrent Neural Network)에 대해 소개할 것입니다!
우선 목차 입니다!
신경망에 대해 소개 하겠습니다.
우선 논리 게이트에 대해 설명 하겠습니다!
논리 게이트에는 다양한 종류가 있지만 우선 OR,XOR,AND를 먼저 설명할려고 합니다!
OR연산자에 대해 설명하겠습니다. 우선 식에서 W는 가중치를 뜻하고 b는 임계치를 설명 합니다!
우선 직선하나로 분류가 가능한데 x1 x2값이 입력되어 찍힌 점이 직선보다 크거나 같은 부분은 참으로 분류가 됩니다!
작은 값은 거짓으로 분류가 됬네요...
두번째는 AND 게이트 인데 여기까지는 직선 하나로 표현이 가능합니다!
이 부분은 x1값과 x2값이 직선보다 큰 값이 참, 작은 값은 거짓이 되었네요!
마지막으로 XOR게이트를 설명할려고 합니다!
XOR 게이트 같은 경우에는 직선이 두개가 필요하며 직선하나로는 표현이 안됩니다!
선 하나를 쓰는 경우에는 특수한 선은 표현이 가능하다고 하는데.. 참 신기하더라구요..
다음으론 퍼셉트론(Perceptron)에 대해 설명하겠습니다!
퍼셉트론은 인공 신경망(Aritificial Neural Network, ANN)의 구성 요소(unit)로서 다수의 값을 입력받아 하나의 값으로 출력하는 알고리즘입니다.
퍼셉트론의 종류는 위에 보듯이 단층 다층이 있습니다!
단층 퍼셉트론 같은 경우에는 은닉층 없이 입력층과 출력층만 존재하여 앞서 논리게이트에서 XOR같은 곡선이 2개가 필요한 경우에는 단층 퍼셉트론으로는 구현이 불가능합니다... ㅠ
은닉층 같은 경우가 설명이 안되어 있는데 입력층과 출력층 사이에 위치하는 모든 층을 은닉층(hidden layer)이라고 한다고 합니다!
다음은 다층 퍼셉트론입니다! 이 경우에는 XOR 게이트가 적용이 됩니다! 1개 이상의 은닉층을 이용하여 구현을 합니다!
그림 처럼 2개이상의 은닉층을 가지고 있는 경우에는 DNN(Deep Neural Network, DNN)이라고 합니다!
벌써 ANN, DNN 두개나 알게 되었습니다!
다음은 활성화 함수(Activation Function)에 대해 설명을 시작하겠습니다!
위 그림은 계단함수(step function)이라고 합니다! 그림처럼 특정 임계값을 넘기면 활성화가 되는 함수 입니다!
다음은 시그모이드 함수인데요...
그림 처럼 곡선이 미끌미끌 거리게 생겨 비선형적으로 이로인해 신경망에서 주로 사용이됩니다!
위에 그림에는 수식은 시그모이드 함수의 식입니다!
다음 활성화 함수는 ReLU함수인데요! 이 함수의 수식은 Max(0,x)인데... 이유는 입력값이 0이 넘는 순간 출력이 되기 때문인데요! 반대로 0이하인 경우에는 계속 0을 출력합니다!
글이 너무 길어져서 다음은 2.5장으로 찾아뵙겠습니다! 2.5장은 RNN (Recurrent Neural Network)을 설명하겠습니다!.!
감사합니다!!