[Computer Vision] CNN 정리

이 블로그는 CS231n 강의를 기반으로 정리한 내용입니다.

- ConvNet의 구조엔 width * height * depth의 이미지 형태가 input으로 들어옴.

- filter로 연산 진행 -> activation map 생성. 이 때 filter 개수 = activation map개수

- 연산 진행 시 (이미지 depth = filter depth) 맞춰줘야 함.

- update하는 파라미터는 filter의 값들

---

Filter란?

- Filter란 input의 정보들을 output으로 압축해주는, 혹은 정보를 전달해주는 역할.

- output size 공식 : (N-F) / stride + 1

 

Padding의 기능

- 이미지 보존의 역할. filter를 거치면서 size가 줄어드는데, Padding을 함으로써 input=output 차원을 맞춰주는 역할.

- padding을 추가하면 위 공식의 차원에 padding 사이즈만큼 더해주면 됨. P = (F-1)/2

- Padding 사이즈 보존의 중요성 : 연산을 거치면서 사이즈가 줄어듦(=volumn shrink). 거대한 NN을 거치면서 사이즈가 0으로 수렴해서 Conv진행이 어려워짐.

- but, down sampling(pooling layer기능)과 같이 사이즈를 줄여나가는 것도 의미가 있음.

---

관련 공식1 - output volume size

- Ouput volume size = (input + 2*pad - filter)/stride + 1

- padding은 size가 늘어나고(*2씩), filter는 size가 줄어드는 기능.

- activation map은 filter의 개수대로 생김.

 

관련 공식2 - 파라미터 개수 공식

-  파라미터 개수 = ( filter size(5X5) * depth(3) + 1(bias) ) * filter개수(10)

---

1x1 filter conv의 기능

- 64의 depth가 32 activation map으로 변경됨 (차원을 줄이는 역할)

 

하나의 filter를 거친 activation map의 기능

- receptive field를 거친 각각의 뉴런이 local connective가 된다.

- 각각의 뉴런들이 동일한 파라미터를 공유함(동일한 파라미터를 가지는 하나의 filter dot product를 거침)

- 동일한 depth의 뉴런들은 파라미터 공유

 

다른 filter를 거친 activation map의 기능

- 다른 filter를 거친 각 activation map에서 각각의 뉴런(동일한 위치)들은 input image의 동일한 곳을 바라봄

- 반면, 다른 weight를 거침(다른 filter를 거치기 때문에)

---

Pooling layer

- size를 관리하는 layer

- volume의 representations을 좀 더 작게 or 관리할 수 있도록

- depth는 유지하고 size는 작게하는 역할

- conv layer는 사이즈를 작게하고, pooling layer는 사이즈를 유지

- weight, padding 모두 없음.

- filter가 stride를 돌면서 가장 큰 값을 pooling하면서 down sampling함

- output size = (2-2)/1 + 1

- 크기가 줄면서 정보가 손실되는 것처럼 보이나, 정보를 손실함으로써 invariance한 능력을 얻게 됨.

 

FC layer

- Fully Connected layer로 output마다 모든 연산을 거침.

- 최종 output의 차원을 맞춰주는 기능(1x1x42 -> 1x1x10 class 개수)

---

CNN 용어 표 정리

https://www.notion.so/e6321300e9704de2a3129630be4c2435?v=2aa057310e064e69adb0b56ed3c57805 

CV 용어 정리