[cs231n] 3강 리뷰 - optimization
optimization이란? - loss를 minima하는 weight를 찾아가는 과정 loss function 정리 regurization loss는 data랑 상관없이 weight에만 영향을 받음 optimization의 그림 설명 - 산속에서 눈을 가리고 최적의 곳을 찾아가는 과정 optimizatation 전략 1. Random search 1000번을 돌리는데 랜덤하게 선택 -> 절대 쓰면 안 됨 전략2. Follow the slope=gradient(경사) 1차원일 때 수치적으로 미분을 통해 기울기를 구함 수식에 대입한다면? - gradient가 음수라는 것은 기울기가 내려가는 방향으로 설정됨 - 두 번째 값으로 하면 0.6이 나옴 => 위쪽으로 나오는 기울기 미분(numerical)을 한다는..
딥러닝/Deep Learning
2022. 12. 28. 14:03
최근댓글