데이터 공부하는 뉴욕킴

빅데이터 활용 요소 1. 자원(빅데이터) 2. 기술(빅데이터 플랫폼) 3. 인력(데이터 과학자) 빅데이터 플랫폼 1) 플랫폼으로의 진화: 데이터 플랫폼은 정형화된 형태로 데이터를 저장하는 파일 시스템으로 시작해서 다수가 동시에 사용할 수 있는 데이터베이스(database)와 데이터웨어하우스(data warehouse)를 거쳐 폭발적으로 증가하는 데이터를 저장 및 유통하기 위한 빅데이터 플랫폼으로 진화 2) 빅데이터 자원과 이를 이용한 애플리케이션이나 소프트웨어를 손쉽게 사용할 수 있는 기반 기술이 집합적으로 모여 형성된 환경 빅데이터에서 가치를 추출하기 위해 일련의 과정을 규격화한 기술 의미 (수집 → 저장 → 처리 → 분석 → 시각화) 빅데이터 활용: 저장기술 데이터웨어하우스, RDB, 클라우드, X8..

A/B 테스트란? A안과 B안을 가지고 사람들의 반응이 어떻게 달라지는지 확인하는 작업 ex. A화면 일 때 구매력 vs B화면 일 때 구매력 고객 분석을 위한 테스트 고객분석 1) 종단적 연구 - 코호트 분석(특정 기간 동안 공통된 특성이나 경험을 갖는 사용자 집단을 의미합니다. 첫방문, 캠페인 유입 등 특정 조건에 해당되는 사용자들을 그룹화하고 시간 흐름에 따른 행동 패턴을 추적합니다.) 2) 횡단적 연구 - A/B 테스트 - 다변량 분석 A/B 테스트 수행 과정 1. 실제 대상자를 반으로 나눈 후 2. 두가지 포맷의 테스트 자료(버튼, 이미지 등을 바꿈)를 만들어서 3. 이를 A,B 그룹 각각에 제공 4. 이에 따라 각 그룹이 얼마나 반응했는지를 판단 5. 결과가 우수한 내용을 실전에 반영 A/B ..

Deep learning is a specific type of machine learning(딥러닝은 머신러닝의 특정 유형입니다.) ▪ Solid understanding of the basic principles of machine learning is needed(머신러닝의 기본 원리에 대한 탄탄한 이해가 필요합니다.) ▪ General principles of machine learning will be provided(머신러닝의 일반원리를 강의합니다.) ▪ 과제 - 학습 데이터 피팅 → 필요조건 - 새로운 데이터에 일반화되는 패턴 찾기 → generalization(일반화)가 머신러닝의 핵심목표 Data-Driven Machine Learning System → x와 y의 관계를 이어주는 fun..

Object Recognition (객체 인식) 컴퓨터비전(Computer vision), 영상처리(image processing)와 관계가 깊은 컴퓨터 기술 Recognition: Object가 어떤 것인지 구분 Object Detection: Recognition보다 더 작은 범위로써 Object의 존재 유무만 판단 Proposal-based models • Faster R-CNN (NIPS 2015) • R-FCN (NIPS 2016 Proposal-free models → 한번에 예측 • YOLO (CVPR 2016) • SSD (ECCV 2016) R-CNN (2014) R-CNN은 이미지에서 Bounding Box를 뽑아내고 각 Bounding Box를 CNN으로 Classification -..

인공지능의 개념 1) Thinking humanly: the cognitive modeling approach - 인간처럼 생각하는 기계/시스템 만드는 것을 목적으로 함(human-level general intelligence) - 이를 위해서는 인간의 실제 정신작용이 어떻게 작동되는지에 대한 이해가 선행되어야 함. 이는 인간의 자기성 찰 또는 심리학적 실험을 통해 밝혀질 수 있음 - 인지 모델링 방식은 인공지능을 위한 컴퓨터 모델 및 시스템에 대한 지식과 심리학적 실험을 통해 인간의 정신 작용 메커니즘을 밝히고 관련 이론을 정립해 나가는 방식임 2) Thinking rationally: the laws of thought approach - 아리스토텔레스의 ‘성공적인 추론’에 대한 개념을 최초로 시도..

Python Packages • Pandas: Data manipulation and analysis. • Makes working with structured data easy. • Numpy: Numeric Python. • Used for mathematical and logical operations on arrays. • scikit-learn: Machine Learning in Python. • Provides simple and efficient tools for data analysis and modeling. • Matplotlib: Visualization library. • Allows creation of static, animated, and interactive plots in..

Modern AI (현대 AI) Easy to people, but hard to describe formally (사람에게는 쉽지만 공식적으로 설명하기는 어렵습니다) Intuitive information, informal knowledge (직관적인 정보, 비공식적 지식) Example 1: Understanding human speech (예시 1: 인간의 말 이해하기) Example 2: Recognition of hand-written digits (예시 2: 손으로 쓴 숫자 인식) 지식을 배우는 방법 Early AI (초기 AI) hard-coded knowledge (ex: knowledge base) / 하드 코딩된 지식(예: 지식 베이스) Formally specified knowledg..

XOR 함수 두 개의 이진 입력을 받아 서로 다를 때만 1을, 그 외의 경우에는 0을 출력하는 논리 함수 딥러닝 연관성: 신경망이 XOR 문제를 해결할 때 생성되는 비선형 결정 경계의 중요성을 강조함 딥러닝 단층 퍼셉트론의 한계: 초기 신경망 모형인 단층 퍼셉트론으로는 XOR 문제를 해결할 수 없음 다층 퍼셉트론의 등장: XOR 문제를 해결하기 위해 은닉층을 포함한 다층 퍼셉트론이 개발됨 해결방안과 의의 비선형 함수와 은닉층: 비선형 활성화 함수와 은닉층을 이용하여 XOR 같은 비선형 문제 해결 딥러닝의 발전: XOR 문제는 딥러닝 모델들의 복잡성과 유연성을 이해하는데 중요한 사례로 여겨짐 Convolutional Neural Networks (CNN, 합성곱 신경망) 이미지나 비디오 데이터에서 사용되는..

SPSS 보고서, 논문을 작성할 때 주로 사용 Python 오픈 소스, 무료 사용 다재다능: 데이터 전처리, 시각화, 기계 학습 다른 데이터 저장 및 처리 시스템과 연동 : 데이터베이스, 웹 서비스, 데이터 처리 파이프라인, 기계학습 사용 가능 데이터 분석 외에도 활용 분야가 더 넓음 머신 러닝 기법 사용 가능 라이브러리, 커뮤니티 등 훨씬 활발 R 데이터 분석에 특화되어 있음

모두를 위한 머신러닝과 딥러닝의 강의 알파고와 이세돌의 경기를 보면서 이제 머신 러닝이 인간이 잘 한다고 여겨진 직관과 의사 결정능력에서도 충분한 데이타가 있으면 어느정도 또는 우리보다 더 잘할수도 있다는 생각을 많이 하게 되었습니다. Andrew Ng 교수님이 말씀하신것 처럼 이런 시대에 머신 러닝을 잘 이해하고 잘 다룰수 있다면 그야말로 "Super Power"를 가지게 되는 것이 아닌가 생각합니다. 더 많은 분들이 머신 러닝과 딥러닝에 대해 더 이해하고 본인들의 문제를 이 멋진 도구를 이용해서 풀수 있게 하기위해 비디오 강의를 준비하였습니다. 더 나아가 이론에만 그치지 않고 최근 구글이 공개한 머신러닝을 위한 오픈소스인 TensorFlow를 이용해서 이론을 구현해 볼수 있도록 하였습니다. 수학이나 ..