데이터 공부하는 뉴욕킴

IoT와 Edge Computing의 Digital Twin 관계IoT(사물인터넷)는 물리적 객체에 센서를 부착하여 데이터를 수집합니다. Edge Computing은 이 데이터를 현장에서 일차적으로 처리합니다. 이 두 기술이 결합하여 Digital Twin의 기반을 형성합니다. Digital Twin은 이 실시간 데이터를 활용해 물리적 객체의 디지털 복제본을 만들고 유지합니다.Digital Twin의 구성 요소Asset: 디지털화할 물리적 대상(장비, 부품, 사람 등)Sensor: Asset에서 데이터를 수집하는 장치Unique ID: 각 Asset을 식별하는 고유 식별자Data Store: 수집된 데이터를 저장하는 공간APIs: Digital Twin과 다른 시스템 간의 통신을 위한 인터페이스Digit..

# 마케팅 용어 용어집 ## A - A/B Testing (AB테스트): 두 가지 이상의 버전을 비교하여 가장 효과적인 버전을 선택하는 방법 - Acquisition (고객 획득): 신규 고객에게 제품이나 서비스를 도달시켜 구매, 회원가입 등을 유도하는 과정 - Activation (활성화): 고객이 제품이나 서비스의 핵심 가치를 경험하게 되는 단계 - Ad Exchange: 광고주와 광고 플랫폼을 연결하는 중개 플랫폼 - Ad Fraud: 부정한 방법으로 광고 성과를 조작하는 행위 - Ad Network (광고 네트워크): 다양한 광고주와 매체를 연결해주는 플랫폼 - Ad Rank: 검색 결과 상단에 광고가 노출될 확률을 결정하는 순위 - Ad Tech (광고 기술): 광고의 기획, 집행, 분석 등을 ..

선형 회귀 (Linear Regression)선형 회귀는 독립 변수(x)와 종속 변수(y) 사이의 선형 관계를 모델링하는 통계적 방법입니다. 목적: 독립 변수(들)를 사용하여 종속 변수를 예측하는 것수학적 표현: y = β₀ + β₁x₁ + β₂x₂ + ... + βₙxₙ + εy: 종속 변수x₁, x₂, ..., xₙ: 독립 변수들β₀: y절편β₁, β₂, ..., βₙ: 각 독립 변수의 계수ε: 오차항주요 특징선형성: 독립 변수와 종속 변수 사이의 관계가 선형이라고 가정합니다.연속적인 종속 변수: 예측하려는 값(y)은 연속적인 숫자여야 합니다.해석 용이성: 각 독립 변수의 계수는 해당 변수가 종속 변수에 미치는 영향을 나타냅니다.평가 지표R-squared (결정 계수): 모델이 데이터의 분산을 얼마나..

데이터 카탈로그와 데이터 준비 과정, 그리고 DSML(Data Science and Machine Learning) 프로세스 데이터 카탈로그 (Augmented)증강된 데이터 카탈로그의 주요 기능을 보여줍니다.중앙에는 기계 학습, 소스 접근성, 서버리스 배포, 거버넌스, 보안 등의 핵심 요소가 있습니다.주변으로 데이터 검색, 데이터 프로파일링, 데이터 계보, 데이터 사용 및 인구화, 데이터 추천, 사용자 협업/크라우드소싱 등의 기능이 배치되어 있습니다.구조화된 데이터와 비구조화된 데이터, 데이터 웨어하우스와 데이터 레이크를 모두 다룹니다.2. 데이터 준비 발자국2020년경 클라우드와 증강화의 압박으로 인한 변화를 보여줍니다.데이터 메시와 데이터 패브릭 개념을 소개합니다.데이터 레이크, 메시 카탈로그, 소..

1. 홀수/짝수 짝수 : id % 2 = 0홀수 : id % 2 = 1 1. 영화의 id가 홀수인 경우만 출력 2. description이 boring이 아닌 것만 출력 3. 출력 순서는 rating이 높은 순서대로 출력SELECT *FROM cinemaWHERE description 'boring' and id % 2 = 1ORDER BY rating DESCSQL 연산자/ 나누기% 나머지 연산자 (나머지가 1이면 홀수, 0이면 짝수)= 같음, =! 같지 않음! 오른쪽 값이 왼쪽 값보다 작지 않다.(==와 //는 파이썬에서 사용된다.)2. MOD함수 : mod(x,y) == x%y짝수 : WHERE MOD(ID,2) = 0 홀수 : WHERE MOD(ID,2) = 1  ex. Query a list ..

DSML 프로세스 4단계획득(Acquire)구성(Organize)분석(Analyze)전달(Deliver)각 단계별 주요 내용1. 획득 단계:스테이징 데이터: 구조화된 데이터(ERP, SQL, R-DB, 로그)와 반/비구조화 데이터(텍스트/문서, 이미지) 포함스트리밍 데이터: 로그, IoT 피드, 비디오, 오디오, 이미지 등구성 단계:데이터 준비: 배치 데이터 통합, 파이프라인 관리, 품질 관리실시간 수집: API 플랫폼, 메시지 브로커(통합 브로커, 메시지 큐)고성능 수집데이터 웨어하우스와 데이터 레이크 비교, 가상화분석 단계:모델 선택모델 훈련하이퍼파라미터 튜닝추론중앙집중식 프로젝트 또는 셀프 서비스/플랫폼 접근사내 시스템 또는 클라우드 AI 서비스 활용전달 단계:전통적인 보고서시각적 탐색분석 대시보드..