[Deep Learning] 6. 경사하강법 (Gradient Method)
참고자료 1 : 밑바닥부터 시작하는 딥러닝 (한빛미디어) 1. 경사법(경사하강법, Gradient Method) 기계학습 문제 대부분은 학습단게에서 최적의 매개변수를 찾아낸다. 신경망 역시 최적의 매개변수(가중치와 편향)를 학습 시에 찾아야 한다. 여기에서 최적이란 손실 함수가 최솟값이 될 때의 매개변수 값이다. 매개변수 공간이 광대하여 어디가 최솟값이 되는 곳인지를 알아내기가 쉽지 않다. 이런 상황에서 기울기를 잘 이용해 함수의 최솟값을 찾으려는 것이 경사법이다. 여기서 주의할점은 각 지점에서 함수의 값을 낮추는 방안을 제시하는 지표가 기울기라는 것이다. 그러나 기울기가 가리키는 곳에 정말 함수의 최솟값이 있는지, 즉 그쪽이 정말로 나아갈 방향인지는 보장할 수 없다. 함수가 극솟값, 최솟값, 또 안장점..
2017.07.14