[pytorch] 3. 모델 학습 (파이토치 학습 절차)

모델을 학습을 시킨다는 것은 y = wx + b 라는 함수에서 w와 b의 적절한 값을 찾는다는 것을 의미합니다. w와 b에 임의의 값을 적용하여 시작하여 오차가 줄어들어 전역 최소점에 이를 때까지 파라미터 (w,b)를 계속 수정합니다.

 

가장 먼저 필요한 절차가 optimizer.zero_grad() 함수를 이용하여 기울기를 초기화하는 것입니다. 파이토치는 기울기 값을 계산하기 위해 loss.backward() 함수를 이용하는데, 이것을 사용하면 새로운 기울기 값이 이전 기울기 값에 누적하여 계산됩니다. 이 방법은 순환신경망(RNN) 모델을 구현할 때 효과적이지만 누적 계산이 필요하지 않는 모델에 대해서는 불필요합니다. 따라서 기울기 값에 대해 누적 계산이 필요하지 않을 때는 입력 값을 모델에 적용하기 전 optimizer.zerograd() 함수를 호출하여 미분 값이 누적되지 않게 초기화해 주어야 합니다.

 

딥러닝 학습 절차	파이토치 학습 절차 ( 모델 학습 과정)
모델, 손실 함수, 옵티마이저 정의	모델, 손실함수, 옵티마이저 정의
	optimizer.zero_grad() : 전방향 학습, 기울기 초기화
전방향 학습(입력 -> 출력 계산)	output = model(input) : 출력 계산
손실 함수로 출력과 정답의 차이(오차) 계산	loss = loss_fn(output, target) : 오차 계산
역전파 학습(기울기 계산)	loss.backward() : 역전파 학습 (기울기 계산)
기울기 업데이트	optimizer.step() : 기울기 업데이트

다음은 loss.backward() 함수를 이용하여 기울기를 자동으로 계산합니다. loss.backward()는 배치가 반복될 때마다 오차가 중첩적으로 쌓이게 되므로 zero_grad()를 사용하여 미분 값을 0으로 초기화 합니다.

 

<모델 훈련 예시 코드>

for epoch in range(100):
	yhat = model(x_train) # 입력 -> 출력
    loss = criterion(yhat, y_train) # 오차 계산
    optimizer.zero_grad() # 기울기 초기화
    loss.backward()       # 기울기 계산
    optimizer.step()      # 기울기 업데이트