[1장] 머신러닝 개념 및 넘파이_파이썬 머신러닝 완벽가이드
1.머신러닝이란?
- 데이터를 기반으로 패턴을 학습하고 결과를 추론하는 알고리즘 기법
- 특징: 데이터 마이닝, 영상 인식, 음성 인식, 자연어 처리에 적용
2. 머신러닝의 필요성
- 복잡한 문제를 데이터를 기반으로 숨겨진 패턴을 인지하여 해결함
- 데이터를 기반으로 통계적 신뢰도를 강화하고 예측 오류를 최소화하기 위한 다양한 수학적 기법을 적용해 데이터 내의 패턴을 스스로 인지하고 신뢰도 있는 예측 결과를 도출함
3. 머신러닝의 분류
- 지도학습: 명확한 결정값이 주어진 데이터를 학습
ex. 분류, 회귀, 추천시스템, 시각/음성 인지, 텍스트 분석, NLP
- 비지도학습: 결정값이 주어지지 않는 데이터를 학습
ex. 군집화(클러스터링), 차원 축소, 강화학습
4. 머신러닝의 단점
- 데이터에 너무 의존적임
- 개발자가 직접 만든 코드보다 정확도가 오히려 떨어질 수 있음
5. R과 파이썬의 차이
1) R: 통계 전용 프로그램 언어로 전통적인 통계 및 마이닝 패키지의 고비용으로 고민하던 통계 전문가들이 개선하고자 만든 언어
2) 파이썬: 직관적인 문법과 객체지향과 함수형 프로그래밍 모두를 포괄하는 유연한 프로그램 아키텍처, 다양한 라이브러리 등의 큰 강점을 가지면서 프로그래밍 세계에서 가장 많이 사용하는 언어 중 하나
6. 파이썬 머신러닝 생태계를 구성하는 주요 패키지
- 머신러닝 패키지: 싸이킷런
- 배열/선형대수/통계 패키지: Numpy, Scipy
- 데이터 핸들링: pandas
- 시각화: matplotilb, seaborn
- 대화형 파이썬 툴: jupyter notebook
1. 넘파이 ndarray : N차원 배열 객체
→ array() 함수로 생성하여 파이썬 리스트 또는 ndarray 입력
→ 정수, 실수, 문자열 입력 가능(단, 같은 데이터 타입만 가능)
import numpy as np
array1 = np.array([1,2,3]) → 1차원 배열, shape(3,)
array2 = np.array([[1,2,3],[2,3,4]]) → 2차원 배열, shape(2,3) : 행2줄, 열3줄
2. ndarray 타입
- ndarray내의 데이터 값은 숫자값, 문자열값, 불값 모두 가능
- 숫자형의 경우 int형, unsigned int형, float형, complex 타입 제공
- ndarray 내의 데이터 타입은 그 연산의 특성상 같은 데이터 타입만 가능
(int형과 float형이 같은 ndarray 객체에 있을 수 없음)
- ndarray.dtype으로 데이터 타입 확인 가능
- DataFrame을 ndarray로 변환: DataFrame 객체의 values 속성을 이용하여 ndarray 변환
→ DF.values 이용
1) 넘파이 ndarray, 리스트, 딕셔너리를 DataFrame으로 변환하기
import numpy as np
col_name1=['col1']
list1 = [1, 2, 3]
array1 = np.array(list1)
print('array1 shape:', array1.shape )
df_list1 = pd.DataFrame(list1, columns=col_name1)
print('1차원 리스트로 만든 DataFrame:\n', df_list1)
df_array1 = pd.DataFrame(array1, columns=col_name1)
print('1차원 ndarray로 만든 DataFrame:\n', df_array1)
array1 shape: (3,)
1차원 리스트로 만든 DataFrame:
col1
0 1
1 2
2 3
1차원 ndarray로 만든 DataFrame:
col1
0 1
1 2
2 3
2) DataFrame의 칼럼 데이터 세트 생성과 수정
titanic_df['Age_by_10'] = titanic_df['Age']*10
titanic_df['Family_No'] = titanic_df['SibSp'] + titanic_df['Parch']+1
titanic_df.head(3)
3) DataFrame 데이터 삭제
#axis=1은 컬럼 방향성(가로), axis=0은 로우 방향성(세로)
# inplace=True : 원 데이터도 적용, inplace=False : 원본 데이터는 적용x
titanic_df = titanic_df.drop('Fare', axis=1, inplace=False)
titanic_df.head()
3. astype() 을 이용한 타입 변환
apple = [1.0, 2.0]
apple = apple.astype('float')
4. 넘파이 ndarray의 axis축
5. ndarray의 차원과 크기를 변경하는 reshape()
- reshape()은 ndarray를 특정 차원 및 형태로 변환
- reshape(-1,5)와 같이 인자에 -1을 부여하면 -1에 해당하는 axis의 크기는 가변적이되어 -1이 아닌 인자값에 해당하는 zix크기는 인자값으로 고정하여 ndarray의 shape를 변환
6. ndarray의 데이터 세트 선택- 인덱싱(indexing)
- 특정 위치의 단일값 추출: 원하는 위치의 인덱스 값을 지정하며 해당 위치의 데이터를 변환
- 슬라이싱 slicing: 연속된 인덱스상의 ndarray를 추출하는 방식
- 팬시 인덱싱 fancy indexing: 일정한 인덱싱 집합을 리스트 또는 ndarray 형태로 지정해 해당 위치에 있는 ndarray를 변환
- 불린 인덱싱 boolean indexing: 인덱싱 모두 사용할 필요없이 조건식을 []안에 기입하여 간편하게 필터링 수행
7. 단일 값 추출
1) 1차원 ndarray
2) 2차원 ndarray
3) 슬라이싱: 1차원 ndarray
4) 슬라이싱: 2차원 ndarray
5) 팬시 인덱싱: 1차원 ndarray
6) 팬시 인덱싱: 2차원 ndarray
8. Pclass와 Name으로 내림차순 정렬
- ascending=False 내림차순
- ascending=True 오름차순
titanic_sorted = titanic_df.sort_values(by=['Pclass', 'Name'], ascending=False) #내림차순 정렬
titanic_sorted.head(3)
9. 특정 컬럼들로 aggregation 수행
titanic_df[['Age', 'Fare']].mean() #평균값
Age 29.699118
Fare 32.204208
dtype: float64
titanic_df[['Age', 'Fare']].sum()
Age 21205.1700
Fare 28693.9493
dtype: float64
titanic_df[['Age', 'Fare']].count()
Age 714
Fare 891
dtype: int64
- groupby() 이용하기 groupby()내에 인자로 by를 Group by 하고자 하는 컬럼을 입력. 여러개의 컬럼으로 Group by 하고자 하면 []내에 컬럼명을 입력 DataFrame에 groupby()를 호출하면 DataFrameGroupBy 객체를 반환
titanic_groupby[['Age', 'Fare']]
* 파이썬 머신러닝 완벽가이드_인프런 강의