활성화 함수는 딥러닝에 있어서 비선형성을 가해주는 매우 중요한 역할을 합니다. 활성화함수를 넣지 않고 layer들만 쌓아주면 의미가 없다고 합니다. layer에 활성화 함수가 없으면, w2(w1x+b)+b로 넘어가고 그냥 wx+b와 다름 없어지므로 single layer와 다름이 없다는 것이죠. 활성화 함수의 종류들입니다. 가장 먼저 시그모이드 함수입니다. 우리는 시그모이드 함수를 이미 살펴본 바 있습니다. 앞 노드에서 wx+b의 linear 함수를 시그모이드 함수에 적용하면, 0~1로 값을 갖게 됩니다. 문제가 3가지가 있습니다. 1. graident vanishing(기울기 소실): sigmoid의 함수 그래프 모양을 보면 x=10인 부분에서 기울기가 0에 가까운 것을 알 수 있습니다. 또한 기울기의..

Convolutional Neural Networks Fully Connected Layer Fully Connected Layer는 이전 Layer의 모든 노드와 연결되어 있습니다. 따라서 Spatial Structure(공간적 구조)를 보존하기에 좋은 구조는 아닙니다. Fully Connected Layer의 역할: 어떤 벡터를 가지고 연산을 합니다. Convolution Layer Spatial Structure(공간적 구조)를 보존해줍니다. 작은 필터로 이미지를 슬라이드하며 dot product를 실행합니다. 기존의 FC layer가 입력 이미지를 전개를 하였다면 이제는 기존의 이미지 구조를 그대로 유지를 하여 작업을 이루어지게 전개합니다. 다음 filter는 가중치가 되는 것입니다. 이 필터를 ..

안녕하세요! 오늘은 CS231N 4강을 리뷰해볼려고 합니다! 이 Computational Graphs는 반복적으로 chain rule을 사용해서 gradient를 구하는 Backpropagation 방법에 유용합니다! 특히 아주 복잡한 함수에 적용하는데에 유용합니다. 예를들어 아주 많은 레이어를 거치는 Convolutional Network에 적용하는데에 유용하다고 합니다! chain rule을 사용해서 gradient를 구하는데 기본적으로 local gradient X upstream gradient 의 방법으로 gradient를 구합니다. 위 식에서 Wx가 곱해져서 들어오고 score 값을 function에다가 넣고 거기에 규제를 추가해서 loss가 나오게 되는 것입니다. 위 모델들을 보면, inpu..

손실 함수 우리는 최적의 W를 구하기 위해서 지금 만든 W가 좋은지 나쁜지를 정량화 할 방법을 찾아야 합니다. W를 입력으로 받아서 각 스코어를 확인하고 이 W가 지금 얼마나 나쁜지를 정량적으로 말해주는 것이 바로 손실함수 입니다. 손실함수가 주어진 W값에 대해 이것이 좋은지 나쁜지 정량화할 수 있게 해줍니다. 하지만 우리가 진짜 원하는 것은 어떠한 효율적인 과정을 통해 W가 될 수 있는 모든 경우의 수를 찾아보고 가장 덜 안 좋은W가 무엇인지 알아내며, 이 과정이 바로 최적화 과정입니다. SVM loss multi-class SVM loss: 이미지 분류 문제에 적합한 손실함수 중 하나입니다. Loss L_i를 구하는 방법은 True 카테고리 Y_i (정답)를 제외한 나머지 카테고리 Y의 합을 구하고 ..

1. Image Classification 컴퓨터가 classification을 하기 위해서는 입력 이미지, label이 필요합니다. 컴퓨터에게 이미지는 큰 격자 모양의 숫자 집합으로 이루어져 있습니다. 객체를 인식하기에는 어려워 보입니다. 사진이 조금만 달라져도 픽셀 값들이 대부분 다른 값이 되기 때문에 객체를 지속적으로 인식하기에는 어려운 부분이 있습니다. 이러한 가려짐, 어두움 등등 인식을 방해하는 요소들이 생기는 경우에는 컴퓨터가 객체를 인식하는 것이 힘들어지게 됩니다. Huble & Wiesel의 연구를 통해 Edges라는 방법이 있습니다. 3개의 선이 만나는 지점을 corner라고 했을 때 고양이의 corner 규칙 집합을 이용해 구별하는 방법입니다. 위의 방법에 대한 단점 위의 알고리즘은 고..