데이터 분석에 필수적인 과정 중 하나가 현재 가지고 있는 데이터 셋을 시각화 하는 작업, 그리고 특정 모델들을 사용하여 학습하거나 예측을 할 때에도 시각화는 많이 사용된다. 그 중에서도 여러개의 그래프를 동시에 나타내어 시각적으로 비교를 해야하는 경우가 빈번하게 존재한다. 그 중에서도 위의 이미지처럼 plt.subplot()을 사용하여 그래프를 사용하는 경우가 많다. plt.subplots(m , n) 여러 책이나 자료들에서 아래와 비슷한 코드들을 많이 볼 수 있다. import pandas as pd import numpy as np import matplotlib.pyplot as plt %matplotlib inline fig, axes = plt.subplots(2) 여기에서 fig는 전체 그래프..
시각화 검색 결과
정규화 방법론 선형회귀 분석을 통해서 계산된 계수(Weight)에 대한 제약 조건을 추가함으로써 과적합(Overfiiting)을 방지하는 방법 일반적으로 과적합은 계수의 크기를 엄청나게 증가시키는 경우에 많이 발생하므로, 정규화 방법론에서 사용하는 제약 조건은 계수의 크기를 제한하는 방법이 많이 사용된다. 참고> argmin 앞으로 선형 회귀 등 여러 기계학습 알고리즘을 접하다 보면, argmin이라는 기호를 접할 때가 있다. argmin은 뒤의 식을 최소로 만드는 해당 변수의 값을 찾아낼 때 사용하는 것으로 대괄호 안에 있는 식은 ( x - 1) ^ 2이므로, x = 1인 경우에 최솟값 0을 가진다. 이런 경우에 x_hat에는 대괄호 안에 있는 식을 최솟값으로 만드는 x의 값인 1을 x_hat에 할당한..
이전까지의 실습 내용을 통해서 데이터를 전처리하였고, 이번 실습에서는 전처리된 데이터가 어떤 그래프 형태를 지니는지, 어떤 특성을 가지고 있는지를 시각화하는 실습을 진행할 것이다. 그 후 각 Column 들 간의 상관도를 계산할 것이다. 시각화 raw_fe.describe(include = 'all').T 보통 df.describe() 혹은 df.describe().T를 통해서 데이터의 기본적인 통계적 특성을 확인한다. 여기에서 include = 'all'이라는 옵션을 설정해주게 되면, 수치로 된 데이터가 아닌, object 형태의 데이터나, category 형태의 데이터 또한, 생략하지 않고 보여준다. 히스토그램 raw_fe.hist(bins = 20, grid = True, figsize = (16,..
subplot은 각각 칸을 나누어서 해당하는 부분에 내가 원하는 그래프를 넣을 수 있는 방법이다. 하지만, 데이터 분석에서 시각화를 하는 입장에서는 두 그래프를 한곳에 두고 비교를 하고 싶은 경우 겨쳐 그리고 싶은 경우가 종종 있다. 이런 경우에는 생각보다 간단하게 코드로 구현할 수 있다. import matplotlib.pyplot as plt plt.plot(x_1, y_1, x_2, y_2) plt.show() 위와 같이 그래프 1에 대한 x와 y에 대한 정보를 입력하고, 바로 뒤에 별도의 parameter를 지정할 필요 없이, 순서대로 입력을 해주면 된다. 2개의 직선 뿐만 아니라 더 많은 그래프를 한 곳에 겹쳐 그리는 경우에도 위와 같은 방식으로 뒤에 계속해서 이어 붙이면 겹쳐 그려지는 것을 확..
(카테고리는 Kaggle이지만, 데이터를 분석하는 과정을 실습하는 과정이므로, 해당 카테고리에 포스팅하게 되었다.) 데이터 다운로드 주소는 https://archive.ics.uci.edu/ml/datasets/Human+Activity+Recognition+Using+Smartphones UCI Machine Learning Repository: Human Activity Recognition Using Smartphones Data Set Human Activity Recognition Using Smartphones Data Set Download: Data Folder, Data Set Description Abstract: Human Activity Recognition database buil..
캐글은 세계적인 ML 기반 분석 대회이다. 그 중에서도 타이타닉 생존자 예측은 처음 입문하는 사람들이 하는 튜토리얼이다. 캐글 사이트에서 Titanic을 검색하거나, https://www.kaggle.com/c/titanic에 들어가면 Data 카테고리에서 학습 데이터(train.csv)와 테스트 데이터(test.csv)를 다운 받을 수 있다. 다운받기 전에 로그인을 해야하니 회원가입을 먼저하고 데이터를 다운받으면 된다. 오른쪽에는 해당 데이터에 관한 간략한 정보들이 나와있는 것을 확인할 수 있다. 다운받은 파일은 파이썬 코드 파일( 주피터 노트북일 경우, 해당 .ipynb파일)이 있는 디렉토리에 csv 파일을 저장한다. 이후에 다른 파일들도 train.csv 파일들이 많이 존재하기 때문에, 구별할 수 ..
사이킷런에서는 분류를 위한 결정트리 클래스인 DecisionTreeClassifier와, 회귀를 위한 결정트리클래스인DecisionTreeRegression을 제공한다. 두가지 클래스는 다음의 하이퍼파라미터를 동일하게 제공한다. 대부분의 알고리즘이 직면한 문제가 과적합인 만큼 결정트리의 하이퍼 파라미터 외에도 대부분의 머신러닝 알고리즘들의 하이퍼 파라미터는 과적합을 제어하기 위한 목적으로 설정해준다고 생각을 하면 이해하기 쉽다. 결정트리 하이퍼 파라미터 - min_samples_split : 노드를 분할하기 위한 최소한의 샘플 데이터 수. -> 과적합을 제어하는 데 사용됨. 디폴트는 2이고 작게 설정할수록 분할되는 노드가 많아져서 과적합 가능성 증가 과적합 제어. 1로 설정할 경우 분할되는 노드가 많아져..
최근댓글