[엘카데미 챌린지] 4일차

지난번 선형회귀 실습을 뒤이어 오늘은 경사하강법(Gradient Descent) 실습을 해보았다.

우리가 그은 직선의 기울기가 너무 크면 오차도 커질 것이다. 너무 작아도 마찬가지다.

오차가 제일 작은 어느 지점의 기울기를 알아내기 위해 기울기의 반대 방향으로 계속 이동시키는 방법이 경사하강법이다.

기울기를 이동시킬 때 적절한 거리를 벗어나 멀리 이동해버리면 기울기가 수렴하지 않고 발산한다.

이때 이동거리를 정해주기 위해 '학습률'을 사용한다. (23-24)

앞서 배운 평균제곱오차를 활용하여 이를 미분하고 기울기와 y절편을 업데이트한다. (33-40)

만든 코드를 실행하여 1500번 경사하강법이 이루어진 이후로 기울기는 수렴하여 기울기와 y절편은 이후 반복해도 값이 변화하지 않는다.