데이터 공부하는 뉴욕킴

Numpy 대규모의 다차원 배열 및 행렬 연산에 필요한 다양한 수학 함수 제공 Array 배열 순서가 있는 같은 종류의 데이터가 저장된 집합 배열 생성 random : 모듈 이용한 배열 생성 rand(0 : 실수, 난수 배열 생성 randint() : 정수, 난수 배열 생성 reshape() 배열 변환 np.reshape(a, (m,n)) shape : 배열의 형태 확인 ndim : 배열의 차원 확인 astype : 데이터 형식 변환/ astype(np.float64) 배열 연산 배열의 형태(shape)가 같다면 자유롭게 사칙연산이 가능 • 합: sum() • 평균: mean() • 표준편차: std() • 분산: var() • 최솟값: min() • 최댓값: max() • 누적합: cumsum() • ..

회귀와 분류 회귀 회귀는 연속적인 값을 예측하고 예측 변수와 목표 변수 간의 관계를 모델링하는 작업 주어진 입력 데이터와 목표 변수(또는 출력) 간의 관계를 학습하고, 이 관계를 사용하여 새로운 입력에 대한 연속적인 값을 예측 예를 들어, 주택 가격 예측, 주식 가격 예측, 온도 예측 등이 회귀 문제의 예 일반적인 회귀 알고리즘에는 선형 회귀, 다항 회귀, 결정 트리 회귀, 랜덤 포레스트 회귀가 있음 분류 분류는 데이터를 여러 범주 중 하나로 분류하는 작업 주어진 입력 데이터를 학습하여, 해당 입력이 어떤 범주에 속하는지 예측하는 모델을 만듭니다. 예를 들어, 이메일 스팸 여부 판단, 질병 진단, 손글씨 숫자 인식 등이 분류 문제의 예 분류 알고리즘에는 로지스틱 회귀, 결정 트리 분류, 랜덤 포레스트 분..

XGBoost 트리 기반의 앙상블 학습 중 가장 각광받는 알고리즘(분류에 있어 뛰어난 예측 성능 지님) 특징: 뛰어난 예측 성능, 빠른 수행 시간, 과적합 규제 기능, tree pruning 기능, 자체 내장된 교차 검증 수행 능력, 결손값 자체 처리 기능 XGBoost를 이용한 위스콘신 유방암 예측 위스콘신 유방암 데이터: 종양의 크기, 모양 등의 다양한 속성값을 기반으로 악성/ 양성 종양 분류하는 데이터 세트 데이터 세트 로딩 하기 import pandas as pd import numpy as np from sklearn.datasets import load_breast_cancer from sklearn.model_selection import train_test_split # xgboost 패키..

# 데이터 전처리 import warnings warnings.filterwarnings('ignore') import pandas as pd import numpy as np import seaborn as sns import matplotlib.pyplot as plt %matplotlib inline house_df_org = pd.read_csv('house_price.csv') house_df = house_df_org.copy() house_df.head(3) # 데이터 확인 house_df.head(20) # 데이터 전체크기, 칼럼 타입, null값 확인 print('데이터 세트의 Shape:', house_df.shape) print('\n전체 feature 들의 type \n',house..

# 필요 라이브러리 불러오기 import numpy as np import pandas as pd import seaborn as sns import matplotlib.pyplot as plt %matplotlib inline import warnings warnings.filterwarnings("ignore", category=RuntimeWarning) # 구글 드라이브 연결 및 파일 불러오기 from google.colab import drive drive.mount("/content/drive") Mounted at /content/drive df = pd.read_csv('/content/drive/MyDrive/Colab Notebooks/자전거 대여 수요예측/train..

릿지(Ridge) 회귀 alpha 값을 이용하여 회귀 계수의 크기를 조절(alpha 값이 크면 회귀 계수 값이 작아지고, alpha 값이 작으면 회귀 계수 값이 커집니다) 사이킷런은 릿지 회귀를 위해 Ridge 클래스를 제공합니다. Regularized Linear Models – Ridge, Lasso # 앞의 LinearRegression예제에서 분할한 feature 데이터 셋인 X_data과 Target 데이터 셋인 Y_target 데이터셋을 그대로 이용 from sklearn.linear_model import Ridge from sklearn.model_selection import cross_val_score # boston 데이타셋 로드 boston = load_boston() # bosto..

import numpy as np import matplotlib.pyplot as plt import pandas as pd import seaborn as sns from sklearn.datasets import load_boston import warnings warnings.filterwarnings('ignore') #사이킷런 1.2 부터는 보스턴 주택가격 데이터가 없어진다는 warning 메시지 출력 제거 %matplotlib inline # boston 데이타셋 로드 boston = load_boston() # boston 데이타셋 DataFrame 변환 bostonDF = pd.DataFrame(boston.data , columns = boston.feature_names) # bost..

회귀 * 데이터 값이 평균과 같은 일정한 값으로 돌아가려는 경향을 이용한 통계기법 * 여러 개의 독립변수와 한 개의 종속변수 간의 상관관계를 모델링하는 기법 머신러닝 회귀 예측의 핵심: 주어진 피처와 결정 값 데이터 기반에서 학습을 통해 최적의 회귀계수를 찾아내는 것. 회귀: 선형회귀/ 비선형 회귀 RSS(비용함수) 기반의 회귀 오류 측정 → 오류 값의 제곱을 구해서 더하는 방식 경사하강법(Gradient Descent) : 비용최소화 하기 반복적으로 비용 함수의 반환 값, 즉 예측값과 실제 값의 차이가 작아지는 방향성을 가지고 W파라미터를 지속해서 보정해 나감. 오류값이 더 이상 작아지지 않으면 그 오류 값을 최소 비용으로 판단하고 그때의 W값을 최적 파라미터로 반환 파이썬 코드로 경사하강법 작성 실제..

import numpy as np import pandas as pd import matplotlib.pyplot as plt import seaborn as sns from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler from sklearn.linear_model import LogisticRegression from sklearn.neighbors import KNeighborsClassifier from sklearn.model_selection import GridSearchCV from sklearn.metrics import confusion_matrix,classi..

분류 - 학습 데이터로 주어진 데이터의 피처와 레이블값을 머신러닝 알고리즘으로 학습해 모델을 생성하고, 생성된 모델에 새로운 데이터 값이 주어졌을 때 미지의 레이블 값을 예측하는 것 분류를 구현할 수 있는 다양한 머신러닝 알고리즘 베이즈(Bayes) 통계와 생성 모델에 기반한 나이브 베이즈(Naive Bayes) 독립변수와 종속변수의 선형 관계성에 기반한 로지스틱 회귀(Logistic Regression) 데이터 균일도에 다른 규칙 기반의 결정 트리(Decision Tree) 개별 클래스 간의 최대 분류 마진을 효과적으로 찾아주는 서포트 벡터 머신(Support Vector Machine) 근접 거리를 기준으로 하는 최소 근접(Nearest Neighbor) 알고리즘 심층 연결 기반의 신경망(Neural..