딥러닝 검색 결과

해당 글 6건
[Transformer 모델 구조 분석] Attention Is All You Need

이번에 소개할 모델은 Transformer로, 이 논문을 처음 제안한 "Attention Is All You Need"의 논문과 여러 자료를 참고하여 알게 된 내용들을 포스팅하겠습니다. Sequence Modeling Sequence Modeling이란, 시계열 데이터, 텍스트, 음성, 비디오 등의 연속적이고, 순차적인 데이터에서 패턴과 관계를 학습하여 해당 시점(Time point) 이후에 다음으로 나올 값을 예측하는 것을 의미합니다. Transformer가 등장하기 전에는 RNN, LSTM이 Sequence Modeling에서 가장 좋은 성능을 보이고 있었습니다. 하지만, 이런 모델들은 본인들이 예측한 결과가 다음 Time Step에서 입력으로 들어가야 하는 학습 구조에서 오는 문제가 발생하였습니다...
딥러닝/자연어처리 2023. 2. 20. 11:04
Deep Learning - 신경망과 활성화 함수

퍼셉트론에서 신경망으로 앞 시간에 퍼셉트론에 대해 배웠는데, 이 퍼셉트론은 가중치를 설정하는 작업을 사람이 직접해야 됩니다. 이 수동으로 작업하는 과정을 해결하기 위해 신경망이라는 개념이 나오게 되었습니다. 신경망의 예 신경망을 그림으로 나타내면 위 그림과 같습니다. 가장 왼쪽 줄을 입력층, 오른쪽 줄을 출력층, 중간 줄을 은닉층이라고 부르는데, 은닉층의 뉴런은 사람 눈에는 보이지 않습니다. 그리고 신경망에는 층이라는 개념이 있는데, 왼쪽부터 0,1,2층이라고 부르고 위에서는 입력층이 0층, 은닉층이 1층, 출력층이 2층이 됩니다. (층을 부르는 개념은 사람마다, 문헌마다 다를 수 있습니다.) 퍼셉트론 복습 신경망의 신호 전달 방법을 보기 전에 퍼셉트론을 복습해보면 위에 사진과 같이 x1, x2라는 두 ..
딥러닝/Deep Learning 2021. 2. 9. 22:57
Deep Learning - 신경망 학습과 손실 함수

학습이란? 학습이란 훈련 데이터로부터 가중치 매개변수의 최적값을 자동으로 획득하는 것을 뜻한다. 신경망이 학습할 수 있도록 해주는 지표로 손실 함수가 있는데, 이 손실 함수의 결과값을 가장 작게 만드는 가중치 매개변수를 찾는 것이 학습의 목표이다. 신경망의 특징은 데이터를 보고 학습한다는 것, 즉 가중치 매개변수의 값을 데이터를 보고 자동으로 결정한다는 것이다. 매개변수가 수천개 수만개이기 때문에 사람이 수작업으로 정한다는 것은 말이 안된다. 즉 기계가 이 매개변수를 자동으로 찾아줘야 한다. 데이터 주도 학습 기계학습에서는 데이터가 생명이다. 사람이 어떠한 패턴을 찾아낼 때는, 경험과 직관을 단서로 시행착오를 통해 진행한다. 하지만 기계학습은 사람의 개입을 최소화하고 데이터로부터 패턴을 찾으려 시도하는 ..
딥러닝/Deep Learning 2021. 2. 3. 16:23
Deep Learning - 퍼셉트론(perceptron)이란?

퍼셉트론이란? 퍼셉트론은 프랑크 로젠블라트가 1957년에 고안한 알고리즘으로 딥러닝(신경망)의 기원이 되는 알고리즘이다. 미분적분학을 하기 전에 사칙연산을 하는 것처럼, 딥러닝을 배우기 위해서는 퍼셉트론의 구조를 배우는 것이 매우 중요한 일이기 기 때문에 익혀둬야 한다. 퍼셉트론이란 위 사진처럼 신호(x1, x2)를 입력받아 하나의 신호(y)를 출력하는 것을 말합니다. 그림에 있는 원들을 뉴런 또는 노드라고 부르며, 입력 신호가 뉴런에 보내질 때는 각각 고유한 가중치(w1, w2)가 곱해집니다. 뉴런에서 보내온 신호의 총합이 정해진 한계를 넘어설 때만 1(흐른다)를 출력하고, 이를 '뉴런이 활성화한다'라고 표현하기도 합니다. 그리고 이 한계를 임계값이라고 부르며 θ라는 기호로 나타냅니다. 위의 그림은 퍼..
딥러닝/Deep Learning 2021. 1. 19. 04:05
(SM) 머신러닝(Machine Learning) - 지도학습, 비지도학습, 강화학습

참고 1 패스트캠퍼스 온라인강의 머신러닝과 데이터분석 A-Z 참고 2 https://blog.naver.com/handuelly/221823696658 참고 3 https://wendys.tistory.com/169 머신 러닝(Machine Learning)은 데이터를 이용해서 컴퓨터를 학습 시키는 것으로, 구현하는 알고리즘(방법)은 3가지로 구분된다. 1 - 지도학습, 2 - 비지도학습, 3- 강화학습 1. 지도학습(supervised learning) Y = F(X)에 대하여 입력 변수(X)와 출력 변수(Y)의 관계에 대하여 모델링하는 것 데이터(x, input)에 대한 명시적 정답인 레이블(y, output)이 주어진 상태에서 컴퓨터를 학습시키는 방법 예를 들어 3x5 = 15, 6x4 =24등을 ..
데이터 사이언스 메뉴얼/Machine Learning 2020. 3. 2. 00:50
데이터 사이언스 관련 정보 정리

1. 데이터 사이언스의 개념 1- 1 데이터 사이언스란? 정형, 비정형 형태를 포함한 다양한 데이터로부터 지식과 인사이트를 추출할 때, 과학적 방법론과 프로세스, 알고리즘, 시스템을 동원하는 융합분야 IT프로그래밍 기술, 통계적 분석능력, 인문학적인 사고가 균형있게 잡혀있어야 함 현재는 데이터 엔지니어링, 분석, 마케팅 등 여러분야에 쓰이고 인공지능(머신러닝,딥러닝)에도 매우 유망있고 촉망받는 분야 1-2 필요한 지식과 학문 1) IT프로그래밍 기술 Python, R 등등 언어 : 데이터 사이언스 분야에 가장 많이 쓰이는 프로그래밍 언어로 Python(범용성)과 R(통계 특화)이 있다. 그 외에 C언어 계열이나 java와 같은 객체 지향 언어를 더불어 공부하면 좋음. 데이터 분석 라이브러리 : 대표적으로..
데이터사이언스 정보 2020. 2. 26. 14:22