NLP 논문리뷰 - Distilling the Knowledge in a Neural Network
논문 제목 : Distilling the Knowledge in a Neural Network 논문 링크 : arxiv.org/abs/1503.02531 Background NN의 오버피팅을 피하기 위해 앙상블 기법이 사용되었다. 하지만 앙상블은 여러 모델을 사용하여 계산시간이 많이 걸린다는 단점이 있어, 앙상블만큼의 성능과 '적은 파라미터 수'를 가진 nn모델이 필요하여 이 Knowledge Distillation모델이 나오게 되었다. Knowledge Distillation이란? Knowledge는 지식, Distillation은 증류이다. 화학에서 액체를 가열하여 생긴 기체를 냉각하여 다시 액체로 만드는 것을 증류라고 부르는데, 이러한 개념을 NN에서 사용한 것이다. 즉 위 그림과 같이 NN에서 지..
딥러닝/자연어처리
2021. 5. 13. 11:13
최근댓글