학습 원리 마일스톤 프로젝트

코드를 쓰기 전에 무엇을 예측할지, 어떤 데이터로 확인할지, 어느 지표가 얼마나 좋아져야 성공인지 정합니다. 이번 실험의 질문은 선형 모델이 주어진 x와 y 관계를 학습할 수 있는가이며, 최종 MSE가 초기 MSE보다 낮아지는지를 기본 성공 기준으로 삼습니다.

question = '선형 관계를 학습할 수 있는가?'
success_rule = 'final_mse <= initial_mse'
print(question)
print(success_rule)

선형 관계를 학습할 수 있는가?
final_mse <= initial_mse

짧은 확인모델이 좋아졌다는 말을 검증 가능하게 만들려면 무엇이 필요할까요?

각 x 샘플은 같은 위치의 y 정답과 한 쌍입니다. 따라서 두 배열의 shape가 같아야 하며, 학습 전에 샘플 수와 자료형을 검사하면 뒤늦은 계산 오류와 잘못된 평가를 막을 수 있습니다.

import numpy as np
x = np.array([-1.0, 0.0, 1.0])
y = np.array([-2.0, 0.0, 2.0])
print(x.shape, y.shape, x.shape == y.shape)

(3,) (3,) True

짧은 확인x가 5개이고 y가 4개라면 학습을 시작해도 될까요?

predict는 예측, mse_loss는 손실, gradients는 변화 방향, train은 반복 업데이트만 담당하게 나눕니다. 함수의 책임이 작으면 중간값을 따로 시험할 수 있고 오류가 어느 단계에서 생겼는지 좁히기 쉽습니다.

def predict(x, weight, bias):
    return weight * x + bias

def mse_loss(predictions, targets):
    return ((predictions - targets) ** 2).mean()

predict와 mse_loss가 서로 다른 책임을 가집니다.

짧은 확인기울기 계산이 의심될 때 어떤 함수를 따로 검사하면 될까요?

두 학습률을 비교하려면 데이터, 초기 weight와 bias, 반복 횟수를 모두 같게 두고 학습률만 바꿔야 합니다. 무작위 초기값을 쓴다면 같은 seed가 필요하지만 이번 실험은 초기값을 직접 입력받아 완전히 재현합니다.

initial_weight = 0.0
for learning_rate in [0.1, 0.5]:
    weight = initial_weight
    print(learning_rate, weight)

0.1 0.0
0.5 0.0

짧은 확인학습률 효과만 보려면 어떤 조건들을 같게 유지해야 할까요?

MSE는 학습 목표와 큰 오차에 민감한 정도를, MAE는 보통 얼마나 벗어나는지를 원래 단위로 보여 줍니다. 여기에 최대 절대 오차를 함께 보면 평균에 가려진 실패가 없는지 확인할 수 있습니다. 손실 감소만으로 모든 데이터에서 잘 작동한다고 결론 내리지는 않습니다.

import numpy as np
errors = np.array([0.1, -0.2, 2.0])
print(np.mean(errors ** 2))
print(np.mean(np.abs(errors)))
print(np.max(np.abs(errors)))

1.3499999999999999
0.7666666666666666
2.0

짧은 확인MAE가 낮아도 최대 절대 오차를 따로 확인하는 이유는 무엇일까요?