회귀 6

텍스트 마이닝 기본 개념 정리

1. 텍스트 전처리 1) 토큰화: 주어진 텍스트를 작은 부분인’ 토큰’으로 나누는 과정/ 문장을 개별 단어로 분리하는 것을 의미함. ➔ 예시: 구두점 제외시키기: 마침표. 컴마, 물음표? 세미콜론; 느낌표! - I love music -> [“i”, “love”, “music”] 으로 변환 ➔ 토큰화 고려점: * 구두점이나 특수문자를 단순히 제외해서는 안된다.($45.55 123,456,789 ->문장의 경계를 알 수 있는데 도움이 됨) * 줄임말과 단어 내에 띄어쓰기가 있는 경우 (we're -> we are, i'm -> i am) ➔ 한국어 토큰화 문제점: 교착어의 문제, 한국어는 영어보다 띄어쓰기가 잘 지켜지지 않는다. 2) 정규화: 다양한 형태의 텍스트를 일관된 형태로 변환하는 작업(동일한 의미..

[5장-4] 자전거 대여 수요 예측

# 필요 라이브러리 불러오기 import numpy as np import pandas as pd import seaborn as sns import matplotlib.pyplot as plt %matplotlib inline import warnings warnings.filterwarnings("ignore", category=RuntimeWarning) # 구글 드라이브 연결 및 파일 불러오기 from google.colab import drive drive.mount("/content/drive") Mounted at /content/drive df = pd.read_csv('/content/drive/MyDrive/Colab Notebooks/자전거 대여 수요예측/train..

[5장-3] 릿지 회귀, 라소 회귀, 엘라스틱넷 회귀, 선형 회귀모델, 로지스틱 회귀의 이해

릿지(Ridge) 회귀 alpha 값을 이용하여 회귀 계수의 크기를 조절(alpha 값이 크면 회귀 계수 값이 작아지고, alpha 값이 작으면 회귀 계수 값이 커집니다) 사이킷런은 릿지 회귀를 위해 Ridge 클래스를 제공합니다. Regularized Linear Models – Ridge, Lasso # 앞의 LinearRegression예제에서 분할한 feature 데이터 셋인 X_data과 Target 데이터 셋인 Y_target 데이터셋을 그대로 이용 from sklearn.linear_model import Ridge from sklearn.model_selection import cross_val_score # boston 데이타셋 로드 boston = load_boston() # bosto..

[5장-2] 사이킷런 LinearRegression을 이용한 보스턴 주택 가격 예측

import numpy as np import matplotlib.pyplot as plt import pandas as pd import seaborn as sns from sklearn.datasets import load_boston import warnings warnings.filterwarnings('ignore') #사이킷런 1.2 부터는 보스턴 주택가격 데이터가 없어진다는 warning 메시지 출력 제거 %matplotlib inline # boston 데이타셋 로드 boston = load_boston() # boston 데이타셋 DataFrame 변환 bostonDF = pd.DataFrame(boston.data , columns = boston.feature_names) # bost..

[5장-1] 회귀, 선형회귀

회귀 * 데이터 값이 평균과 같은 일정한 값으로 돌아가려는 경향을 이용한 통계기법 * 여러 개의 독립변수와 한 개의 종속변수 간의 상관관계를 모델링하는 기법 머신러닝 회귀 예측의 핵심: 주어진 피처와 결정 값 데이터 기반에서 학습을 통해 최적의 회귀계수를 찾아내는 것. 회귀: 선형회귀/ 비선형 회귀 RSS(비용함수) 기반의 회귀 오류 측정 → 오류 값의 제곱을 구해서 더하는 방식 경사하강법(Gradient Descent) : 비용최소화 하기 반복적으로 비용 함수의 반환 값, 즉 예측값과 실제 값의 차이가 작아지는 방향성을 가지고 W파라미터를 지속해서 보정해 나감. 오류값이 더 이상 작아지지 않으면 그 오류 값을 최소 비용으로 판단하고 그때의 W값을 최적 파라미터로 반환 파이썬 코드로 경사하강법 작성 실제..

[2장-2] 붓꽃 품종 예측_파이썬 머신러닝 완벽가이드

# 사이킷런을 이용하여 붓꽃(Iris) 데이터 품종 예측하기 1. 사이킷런 버전 확인 import sklearn print(sklearn.__version__) 2. 붓꽃 예측을 위한 사이킷런 필요 모듈 로딩(필수 라이브러리 불러오기) from sklearn.datasets import load_iris from sklearn.tree import DecisionTreeClassifier #결정트리 from sklearn.model_selection import train_test_split #학습과 분류 데이터 3. 학습 데이터와 테스트 데이터 세트로 분리 # X_train과 y_train은 모델을 학습시킬 때 사용되고(X_train과 y_train은 서로 겹치는 데이터가 없어야 함) # X_test는..

728x90