손실을 줄이며 모델 학습시키기

샘플마다 오차가 하나씩 생기지만 모델 전체를 개선하려면 모든 샘플을 대표하는 기준이 필요합니다. 손실 함수는 오차 배열을 하나의 숫자로 줄여 현재 모델이 얼마나 나쁜지 나타냅니다.

import numpy as np
errors = np.array([-1.0, 1.0, 3.0])
loss = np.mean(errors ** 2)
print(loss)

3.6666666666666665

짧은 확인손실 함수의 출력은 샘플 수만큼의 배열일까요, 모델을 대표하는 숫자 하나일까요?

평균 제곱 오차 MSE는 각 오차를 제곱한 뒤 평균냅니다. 오차가 두 배가 되면 제곱 오차는 네 배가 되어 큰 실패가 손실에 더 큰 영향을 줍니다.

import numpy as np
errors = np.array([1.0, 2.0, 4.0])
print((errors ** 2).tolist())
print(np.mean(errors ** 2))

[1.0, 4.0, 16.0]
7.0

짧은 확인오차 2와 4의 제곱 벌점은 몇 배 차이일까요?

기울기가 양수면 매개변수를 키울수록 손실이 커지는 방향이고, 음수면 매개변수를 키울수록 손실이 작아지는 방향입니다. MSE 선형 모델에서 가중치 기울기는 2×mean(error×x)로 계산할 수 있습니다.

import numpy as np
x = np.array([-1.0, 1.0])
y = np.array([-2.0, 2.0])
weight = 0.0
errors = weight * x - y
dw = 2 * np.mean(errors * x)
print(errors.tolist(), dw)

[2.0, -2.0] -4.0

짧은 확인기울기가 음수라면 손실을 줄이기 위해 가중치를 키워야 할까요, 줄여야 할까요?

기울기는 손실이 커지는 방향이므로 경사하강법은 weight = weight - learning_rate × gradient로 반대 방향에 작은 걸음을 내딛습니다. 이 계산을 반복하면 손실이 낮은 매개변수에 가까워집니다.

weight = 0.0
gradient = -4.0
learning_rate = 0.5
weight = weight - learning_rate * gradient
print(weight)

2.0

짧은 확인경사하강법 업데이트 식에서 기울기 앞에 빼기가 붙는 이유는 무엇일까요?

학습률이 너무 작으면 손실이 천천히 줄고, 너무 크면 최솟값을 지나쳐 손실이 흔들리거나 커질 수 있습니다. 같은 시작점에서 여러 학습률의 손실 변화를 비교해 적절한 크기를 판단합니다.

weight = 0.0
gradient = -4.0
for learning_rate in [0.1, 0.5, 1.0]:
    new_weight = weight - learning_rate * gradient
    print(learning_rate, new_weight)

0.1 0.4
0.5 2.0
1.0 4.0

짧은 확인학습 중 손실이 계속 크게 오르내리면 학습률을 높여야 할까요, 낮춰야 할까요?