backpropagation 검색 결과

해당 글 2건
[cs231n] 4강 리뷰 - backpropagation

지난 시간 배운 것 score function와 loss function, regularization의 효과 -> 가중치가 변함에 따라 loss가 얼마나 변하는지(미분=gradient) optimaization : loss를 최소화하는 w를 찾아가는 과정 역전파의 효과 : 학습을 함에 있어서 각 vector가 얼마정도의 영향을 주는지 알아보는 과정 z의 값을 h만큼 증가시킨다면 f의 값은 3만큼 늘어난다. 3배만큼 영향력을 주고 있다. Chain Rule df/dy 는 바로 구할 수 없음. 오른쪽과 같이 식의 곱으로 나타낼 수 있음. (-4 x 1) dq/dy는 df/dy에 직접적으로 영향을 주기에 local gradient라고 함. df/dq는 global gradient local gradient와 ..
딥러닝/Deep Learning 2022. 12. 28. 14:10
최적화, Optimizer

(JY) Loss function, 손실함수 (JY) Keras 사용해보기 1. What is keras? 케라스(Keras)는 텐서플로우 라이버러리 중 하나로, 딥러닝 모델 설계와 훈련을 위한 고수준 API이다. 사용자 친화적이고 모델의 구성이 쉽기 때문에 기본 이미지 dsbook.tistory.com 이전 글에서, 손실값을 어떻게 계산하는지, 특히 Cross entropy error 방법에 대해서 알아보았다. 손실값을 계산하는 방법에는 CEE방법 외에도 평균제곱오차(MSE)방법, Huber, Hinge 등 다양한 방법이 존재하며 어떤 데이터를 어떤 방식으로 학습시킬지에 따라 사용하는 사용하는 함수가 달라졌다. 크로스 엔트로피 손실함수에 대해 간략하게 리뷰해보면, 이 손실 함수는 실제값과 로그를 취한 ..
데이터 사이언스 메뉴얼/Object classification 2020. 5. 23. 23:38