딥러닝 왕초보 나를 위한 기초! 4.5장 Deep Learning Basic4 Data set, Batch & Epoch &Iterations

주녕콩 2023. 5. 1. 06:32

안녕하세요! 4.5장으로 찾아왔습니다!

이번 강의에서는 Data set, Batch & Epoch &Iterations들을 소개 하겠습니다!

우선 아주 중요한 Data set에 대해서 설명할건데요!

우선 딥러닝에서는 신경망 모델을 학습하고 평가하기 위해 dataset이 필요합니다!

또한 앞에서 배운 Overfitting을 찾아 낼려해도 필요하죠!

- Train set: 모델을 학습하기 위한 dataset이며 모델을 학습하는데에는 오직 유일하게 Train dataset만 이용합니다.

- Validation set: 학습이 이미 완료된 모델을 검증하기 위한 dataset입니다.

- Test set: 학습과 검증이 완료된 모델의 성능을 평가하기 위한 dataset입니다.

그럼 Validation set이랑 Test set의 차이점 또한 알아야 겠죠!

-Validation set: 모델을 update, 즉 학습을 시키진 않지만 학습에 '관여'는 합니다!

-Test set: 학습에 전혀 관여하지 않고 오직 '최종 성능'을 평가하기 위해 쓰입니다!

비율을 찾아보면 6:4와 6:2:2정도 되는데요!

위에 A같은 경우에는 Validation set는 학습시키지 않으니 사용하지 않았고

B는 넣었을때를 말합니다!

B처럼 Validation단계를 포함하는 것이 모델 성능 개선에 도움이 되겠죠!

모델을 Update해가며 하니 성능이 더 계선이 되어 사용합니다!

이제는 BATCH & EPOCH & ITERATIONS에 소개하겠습니다!

우선 Batch에 대해 설명할 것인데요!

Batch size는 전체 트레이닝 데이터 셋을 여러 작은 그룹을 나누었을 때 하나의 작 그룹으로 속하는 데이터 수를 의미합니다!

다음은 Epoch에 대해 설명 할건데요!

Epoch는 전체 트레이닝 셋이 신경망을 통과한 횟수 의미합니다!

1-epoch는 모델 전채를 한번 학습 했다는 뜻으로 알면 잘 이해될거 같아요!

위에 순전파와 역전파에 대한 설명도 필요 할거 같아서 준비 했습니다!

마지막은 Iteration 입니다!

1 Iteration는 한번 학습하는 뜻인데 예를 들어야 할거 같아요! 조금 이해하기가 어려우니...

예를 들어 전체 200개의 데이터가 있고, epochs = 2, batch_size = 50라고 두면

1 epoch는 각 데이터의 size가 50인 batch가 들어가게 되면 전체 데어터가 200이고 batch size가 50이니 네 번의 iteration을 말하죠!

2 epoch를 하여햐 하니깐 총 200의 데이터를 50 50 50 50 / 50 50 50 50 batch 사이즈 별로 학습하니 8번의 iteration을 한다고 생각하면 될거 같습니다!

이상으로 4장도 끝내겠습니다!!

저의 포스팅을 읽어주셔서 감사합니다!!!!!