지난 시간 배운 것 score function와 loss function, regularization의 효과 -> 가중치가 변함에 따라 loss가 얼마나 변하는지(미분=gradient) optimaization : loss를 최소화하는 w를 찾아가는 과정 역전파의 효과 : 학습을 함에 있어서 각 vector가 얼마정도의 영향을 주는지 알아보는 과정 z의 값을 h만큼 증가시킨다면 f의 값은 3만큼 늘어난다. 3배만큼 영향력을 주고 있다. Chain Rule df/dy 는 바로 구할 수 없음. 오른쪽과 같이 식의 곱으로 나타낼 수 있음. (-4 x 1) dq/dy는 df/dy에 직접적으로 영향을 주기에 local gradient라고 함. df/dq는 global gradient local gradient와 ..

optimization이란? - loss를 minima하는 weight를 찾아가는 과정 loss function 정리 regurization loss는 data랑 상관없이 weight에만 영향을 받음 optimization의 그림 설명 - 산속에서 눈을 가리고 최적의 곳을 찾아가는 과정 optimizatation 전략 1. Random search 1000번을 돌리는데 랜덤하게 선택 -> 절대 쓰면 안 됨 전략2. Follow the slope=gradient(경사) 1차원일 때 수치적으로 미분을 통해 기울기를 구함 수식에 대입한다면? - gradient가 음수라는 것은 기울기가 내려가는 방향으로 설정됨 - 두 번째 값으로 하면 0.6이 나옴 => 위쪽으로 나오는 기울기 미분(numerical)을 한다는..

loss function : score에 대해 불만족한 정도를 측정하는 함수 optimization : loss function을 최소화하는 파라미터를 찾는 과정 1. SVM hinge loss SVM의 loss인 hinge loss는 0과 sj(잘못된 label의 score), syj(제대로 된 label의 score), 1(safety margin) -> 해석1 : sj - (syj - 1) => correct label의 score보다 큰 incorrect label score가 있다면 loss는 0보다 크게 나타남 -> 해석2 : coreect label의 score가 incorrect label score보다 1이상 크다면 loss는 0이 됨 ex) 고양이로 분류했다면 correct label ..

computer vision 분야의 기본은 이미지를 분류하는 것 -> 개, 고양이, 강아지 기타 파생된 분야가 detection, segmentation, image captioning 분류를 하는데 semantic gap이라는 문제점이 생김 이미지는 기본적으로 height x width x channel의 곱으로 이루어짐 (여기서 channel이란 색상=RGB) 이미지의 도전과제 - Viewpoint Variation (보는 시각에 따라서 이미지가 다르게 보임) - Illumination (조명) - Deformation (형태의 변형) - Occulusion (숨어있는 이미지) - Background clutter (배경하고 구분이 안 되는 형체) - Intraclass variation (비슷한 형..

xshell ssh 연결하기 xshell ssh 서버 로그인 -> docker start 컨테이너이름 -> docker attach 컨테이너이름 파이참 ssh 연결하기 파이참 프로젝트 생성 -> 상단 File 클릭 후 Setting -> Deployment SSH configuration 연결 -> Root path /작업공간 이름 지정 -> Mappings 클릭 후 Deployment path 설정 파이참 프로젝트 도커에 올리기 좌측 해당 프로젝트 or 파일 우클릭 -> Deployment -> upload to ~~ (자동화) 상단 Tools -> Deployment -> Automatic upload ssh 원격 서버에서 python 실행하기 일반적인 실행 - python 파일이름.py (기본 GP..

퍼셉트론에서 신경망으로 앞 시간에 퍼셉트론에 대해 배웠는데, 이 퍼셉트론은 가중치를 설정하는 작업을 사람이 직접해야 됩니다. 이 수동으로 작업하는 과정을 해결하기 위해 신경망이라는 개념이 나오게 되었습니다. 신경망의 예 신경망을 그림으로 나타내면 위 그림과 같습니다. 가장 왼쪽 줄을 입력층, 오른쪽 줄을 출력층, 중간 줄을 은닉층이라고 부르는데, 은닉층의 뉴런은 사람 눈에는 보이지 않습니다. 그리고 신경망에는 층이라는 개념이 있는데, 왼쪽부터 0,1,2층이라고 부르고 위에서는 입력층이 0층, 은닉층이 1층, 출력층이 2층이 됩니다. (층을 부르는 개념은 사람마다, 문헌마다 다를 수 있습니다.) 퍼셉트론 복습 신경망의 신호 전달 방법을 보기 전에 퍼셉트론을 복습해보면 위에 사진과 같이 x1, x2라는 두 ..

학습이란? 학습이란 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것을 뜻한다. 신경망이 학습할 수 있도록 해주는 지표로 손실 함수가 있는데, 이 손실 함수의 결과값을 가장 작게 만드는 가중치 매개변수를 찾는 것이 학습의 목표이다. 신경망의 특징은 데이터를 보고 학습한다는 것, 즉 가중치 매개변수의 값을 데이터를 보고 자동으로 결정한다는 것이다. 매개변수가 수천개 수만개이기 때문에 사람이 수작업으로 정한다는 것은 말이 안된다. 즉 기계가 이 매개변수를 자동으로 찾아줘야 한다. 데이터 주도 학습 기계학습에서는 데이터가 생명이다. 사람이 어떠한 패턴을 찾아낼 때는, 경험과 직관을 단서로 시행착오를 통해 진행한다. 하지만 기계학습은 사람의 개입을 최소화하고 데이터로부터 패턴을 찾으려 시도하는 ..

경사법에서는 기울기 값을 기준으로 나아갈 방향을 정하는데, 기울기란 무엇인지와 학생 때 배운 '미분'을 복습해보고자 한다. 미분 마라톤 선수가 처음부터 10분에 2km씩 달렸다고 해보자. 이때의 속도는 간단히 2/10 = 0.2 [km/분]이라고 계산할 수 있다. 즉 1분에 0.2km만큼의 속도(변화)로 뛰었다고 해석할 수 있다. 이 마라톤 예에서는 '달린 거리'가 '시간'에 대해서 얼마나 변화했는가를 계산했다. 다만 여기서 0.2km는 10분 동안의 평균 속도를 구한 것이고, 미분은 특정 순간의 변화량을 뜻한다. 그래서 10분이라는 시간을 1분, 1초, 0.1초 이렇게 간격을 줄여가면서 어느 한 순간의 변화량을 얻는 것이 미분이다. 수식으로 표현하면 위와 같다. 극한을 취해 h를 한없이 0에 가깝게 하..

퍼셉트론이란? 퍼셉트론은 프랑크 로젠블라트가 1957년에 고안한 알고리즘으로 딥러닝(신경망)의 기원이 되는 알고리즘이다. 미분적분학을 하기 전에 사칙연산을 하는 것처럼, 딥러닝을 배우기 위해서는 퍼셉트론의 구조를 배우는 것이 매우 중요한 일이기 기 때문에 익혀둬야 한다. 퍼셉트론이란 위 사진처럼 신호(x1, x2)를 입력받아 하나의 신호(y)를 출력하는 것을 말합니다. 그림에 있는 원들을 뉴런 또는 노드라고 부르며, 입력 신호가 뉴런에 보내질 때는 각각 고유한 가중치(w1, w2)가 곱해집니다. 뉴런에서 보내온 신호의 총합이 정해진 한계를 넘어설 때만 1(흐른다)를 출력하고, 이를 '뉴런이 활성화한다'라고 표현하기도 합니다. 그리고 이 한계를 임계값이라고 부르며 θ라는 기호로 나타냅니다. 위의 그림은 퍼..

강화학습(Reinforcement Learning)은 어떤 임의의 존재 (Agent) 가 주어진 환경 내에서 어떻게 행동해야 하는지에 대해 학습하는 것을 말합니다. 이러한 학습 과정은 다양한 상황에서 Agent가 한 행동에 대해, 양 또는 음의 보상으로 피드백을 받음으로써 진행됩니다. 강화학습과 정책(Policy) 강화학습의 최종 목표는 환경(Environment)과 상호작용을 하는 임의의 Agent를 학습시키는 것입니다. Agent는 상태(State)라고 부르는 다양한 상황 안에서 행동(Action)을 취하며 조금씩 학습해 나갑니다. Agent가 취한 행동은 그에 대한 응답으로 양(+)이나 음(-), 또는 0의 보상(Reward)을 돌려받습니다. 여기에서 Agent의 목표는 처음 시작하는 시점부터 종료..