2024/03 20

빅데이터의 활용 요소 및 기술 정리

빅데이터 활용 요소 1. 자원(빅데이터) 2. 기술(빅데이터 플랫폼) 3. 인력(데이터 과학자) 빅데이터 플랫폼 1) 플랫폼으로의 진화: 데이터 플랫폼은 정형화된 형태로 데이터를 저장하는 파일 시스템으로 시작해서 다수가 동시에 사용할 수 있는 데이터베이스(database)와 데이터웨어하우스(data warehouse)를 거쳐 폭발적으로 증가하는 데이터를 저장 및 유통하기 위한 빅데이터 플랫폼으로 진화 2) 빅데이터 자원과 이를 이용한 애플리케이션이나 소프트웨어를 손쉽게 사용할 수 있는 기반 기술이 집합적으로 모여 형성된 환경 빅데이터에서 가치를 추출하기 위해 일련의 과정을 규격화한 기술 의미 (수집 → 저장 → 처리 → 분석 → 시각화) 빅데이터 활용: 저장기술 데이터웨어하우스, RDB, 클라우드, X8..

What is A/B TESTING? (실무에서의 A/B 테스트)

A/B 테스트란? A안과 B안을 가지고 사람들의 반응이 어떻게 달라지는지 확인하는 작업 ex. A화면 일 때 구매력 vs B화면 일 때 구매력 고객 분석을 위한 테스트 고객분석 1) 종단적 연구 - 코호트 분석(특정 기간 동안 공통된 특성이나 경험을 갖는 사용자 집단을 의미합니다. 첫방문, 캠페인 유입 등 특정 조건에 해당되는 사용자들을 그룹화하고 시간 흐름에 따른 행동 패턴을 추적합니다.) 2) 횡단적 연구 - A/B 테스트 - 다변량 분석 A/B 테스트 수행 과정 1. 실제 대상자를 반으로 나눈 후 2. 두가지 포맷의 테스트 자료(버튼, 이미지 등을 바꿈)를 만들어서 3. 이를 A,B 그룹 각각에 제공 4. 이에 따라 각 그룹이 얼마나 반응했는지를 판단 5. 결과가 우수한 내용을 실전에 반영 A/B ..

Data Science Issue 2024.03.16

2wk_Deep learning

Deep learning is a specific type of machine learning(딥러닝은 머신러닝의 특정 유형입니다.) ▪ Solid understanding of the basic principles of machine learning is needed(머신러닝의 기본 원리에 대한 탄탄한 이해가 필요합니다.) ▪ General principles of machine learning will be provided(머신러닝의 일반원리를 강의합니다.) ▪ 과제 - 학습 데이터 피팅 → 필요조건 - 새로운 데이터에 일반화되는 패턴 찾기 → generalization(일반화)가 머신러닝의 핵심목표 Data-Driven Machine Learning System → x와 y의 관계를 이어주는 fun..

Deep Learning 2024.03.16

2wk_Object Recognition (객체 인식), R-CNN, Fast R-CNN

Object Recognition (객체 인식) 컴퓨터비전(Computer vision), 영상처리(image processing)와 관계가 깊은 컴퓨터 기술 Recognition: Object가 어떤 것인지 구분 Object Detection: Recognition보다 더 작은 범위로써 Object의 존재 유무만 판단 Proposal-based models • Faster R-CNN (NIPS 2015) • R-FCN (NIPS 2016 Proposal-free models → 한번에 예측 • YOLO (CVPR 2016) • SSD (ECCV 2016) R-CNN (2014) R-CNN은 이미지에서 Bounding Box를 뽑아내고 각 Bounding Box를 CNN으로 Classification -..

Technology 2024.03.16

인공지능이란?

인공지능의 개념 1) Thinking humanly: the cognitive modeling approach - 인간처럼 생각하는 기계/시스템 만드는 것을 목적으로 함(human-level general intelligence) - 이를 위해서는 인간의 실제 정신작용이 어떻게 작동되는지에 대한 이해가 선행되어야 함. 이는 인간의 자기성 찰 또는 심리학적 실험을 통해 밝혀질 수 있음 - 인지 모델링 방식은 인공지능을 위한 컴퓨터 모델 및 시스템에 대한 지식과 심리학적 실험을 통해 인간의 정신 작용 메커니즘을 밝히고 관련 이론을 정립해 나가는 방식임 2) Thinking rationally: the laws of thought approach - 아리스토텔레스의 ‘성공적인 추론’에 대한 개념을 최초로 시도..

1wk_Early AI 와 Modern AI 차이

Modern AI (현대 AI) Easy to people, but hard to describe formally (사람에게는 쉽지만 공식적으로 설명하기는 어렵습니다) Intuitive information, informal knowledge (직관적인 정보, 비공식적 지식) Example 1: Understanding human speech (예시 1: 인간의 말 이해하기) Example 2: Recognition of hand-written digits (예시 2: 손으로 쓴 숫자 인식) 지식을 배우는 방법 Early AI (초기 AI) hard-coded knowledge (ex: knowledge base) / 하드 코딩된 지식(예: 지식 베이스) Formally specified knowledg..

Deep Learning 2024.03.09

1wk_XOR, CNN, ImageNet-1K, AlexNet, ZFNet, GoogleNet , VGGNet, ResNet, VIT

XOR 함수 두 개의 이진 입력을 받아 서로 다를 때만 1을, 그 외의 경우에는 0을 출력하는 논리 함수 딥러닝 연관성: 신경망이 XOR 문제를 해결할 때 생성되는 비선형 결정 경계의 중요성을 강조함 딥러닝 단층 퍼셉트론의 한계: 초기 신경망 모형인 단층 퍼셉트론으로는 XOR 문제를 해결할 수 없음 다층 퍼셉트론의 등장: XOR 문제를 해결하기 위해 은닉층을 포함한 다층 퍼셉트론이 개발됨 해결방안과 의의 비선형 함수와 은닉층: 비선형 활성화 함수와 은닉층을 이용하여 XOR 같은 비선형 문제 해결 딥러닝의 발전: XOR 문제는 딥러닝 모델들의 복잡성과 유연성을 이해하는데 중요한 사례로 여겨짐 Convolutional Neural Networks (CNN, 합성곱 신경망) 이미지나 비디오 데이터에서 사용되는..

Technology 2024.03.09

Python과 SPSS, R의 차이

SPSS 보고서, 논문을 작성할 때 주로 사용 Python 오픈 소스, 무료 사용 다재다능: 데이터 전처리, 시각화, 기계 학습 다른 데이터 저장 및 처리 시스템과 연동 : 데이터베이스, 웹 서비스, 데이터 처리 파이프라인, 기계학습 사용 가능 데이터 분석 외에도 활용 분야가 더 넓음 머신 러닝 기법 사용 가능 라이브러리, 커뮤니티 등 훨씬 활발 R 데이터 분석에 특화되어 있음

Deep Learning /모두를 위한 딥러닝 (무료 강의)

모두를 위한 머신러닝과 딥러닝의 강의 알파고와 이세돌의 경기를 보면서 이제 머신 러닝이 인간이 잘 한다고 여겨진 직관과 의사 결정능력에서도 충분한 데이타가 있으면 어느정도 또는 우리보다 더 잘할수도 있다는 생각을 많이 하게 되었습니다. Andrew Ng 교수님이 말씀하신것 처럼 이런 시대에 머신 러닝을 잘 이해하고 잘 다룰수 있다면 그야말로 "Super Power"를 가지게 되는 것이 아닌가 생각합니다. 더 많은 분들이 머신 러닝과 딥러닝에 대해 더 이해하고 본인들의 문제를 이 멋진 도구를 이용해서 풀수 있게 하기위해 비디오 강의를 준비하였습니다. 더 나아가 이론에만 그치지 않고 최근 구글이 공개한 머신러닝을 위한 오픈소스인 TensorFlow를 이용해서 이론을 구현해 볼수 있도록 하였습니다. 수학이나 ..

Deep Learning 2024.03.07
728x90