[짧] Epoch, mini-Batch, Step 헷갈리지 않게 외우기

Epoch

전체 데이터를 모두 학습한 경우를 1 Epoch라고 한다.

mini-Batch

전체 데이터를 일정한 크기로 나눠놓은 것으로, 여러 개(N)의 mini-Batch가 1 Epoch를 구성한다. 

• 1 Epoch = mini-Batch $\times N$

Step

$\theta$가 업데이트된 횟수로, 일반적으로 많이 활용되는 mini-Batch SGD에선 N과 동일하다.