Gradient Descent 썸네일형 리스트형 Adam VS SGD 뉴럴 네트워크는 weight paramter들을 최적화(optimize)하기 위해서 Gradient Descent방법을 사용했다.. loss function의 현 weight의 기울기(gradient)를 구하고 loss를 줄이는 방향으로 업데이트(조정)해 나가는 방법을 통해서 뉴럴 네트워크를 학습하였습니다. loss(cost) function --> 현재의 가중치에서 틀린정도를 알려주는 함수. 현재 네트워크의 weight에서 내가 가진 데이터를 다 넣어주면 전체 에러가 계산된다. 거기서 미분을 하면 에러를 줄이는 방향을 알 수 있다. 이걸 계속 반복해서 학습을 하는 것. 내가 가진 데이터를 다 넣어주면 전체 에러가 계산된다. 최적값을 찾아 나가기 위해서 한칸 전진할 때마다 모든 데이터 셋을 넣어주어야 한.. 더보기 이전 1 다음
