데이터 공부하는 뉴욕킴

model.fit(X, y, validation_split=0.2, epochs=100, batch_size=32, verbose=0)for i in range(30): last_7_days_reshaped = last_7_days[-7:].reshape(1, 7, 1) next_day = model.predict(last_7_days_reshaped) next_30_days.append(next_day[0, 0]) last_7_days = np.append(last_7_days, next_day)  LSTM과 다른 시계열 모델의 차이란보통의 시계열 모델은 단기 기억만 가능하지만, LSTM은 장기 기억도 할 수 있어요.  일반 시계열 모델: 마치 "어제 비가 왔으니까 오늘도 비가 올..

IoT와 Edge Computing의 Digital Twin 관계IoT(사물인터넷)는 물리적 객체에 센서를 부착하여 데이터를 수집합니다. Edge Computing은 이 데이터를 현장에서 일차적으로 처리합니다. 이 두 기술이 결합하여 Digital Twin의 기반을 형성합니다. Digital Twin은 이 실시간 데이터를 활용해 물리적 객체의 디지털 복제본을 만들고 유지합니다.Digital Twin의 구성 요소Asset: 디지털화할 물리적 대상(장비, 부품, 사람 등)Sensor: Asset에서 데이터를 수집하는 장치Unique ID: 각 Asset을 식별하는 고유 식별자Data Store: 수집된 데이터를 저장하는 공간APIs: Digital Twin과 다른 시스템 간의 통신을 위한 인터페이스Digit..

데이터 카탈로그와 데이터 준비 과정, 그리고 DSML(Data Science and Machine Learning) 프로세스 데이터 카탈로그 (Augmented)증강된 데이터 카탈로그의 주요 기능을 보여줍니다.중앙에는 기계 학습, 소스 접근성, 서버리스 배포, 거버넌스, 보안 등의 핵심 요소가 있습니다.주변으로 데이터 검색, 데이터 프로파일링, 데이터 계보, 데이터 사용 및 인구화, 데이터 추천, 사용자 협업/크라우드소싱 등의 기능이 배치되어 있습니다.구조화된 데이터와 비구조화된 데이터, 데이터 웨어하우스와 데이터 레이크를 모두 다룹니다.2. 데이터 준비 발자국2020년경 클라우드와 증강화의 압박으로 인한 변화를 보여줍니다.데이터 메시와 데이터 패브릭 개념을 소개합니다.데이터 레이크, 메시 카탈로그, 소..

DSML 프로세스 4단계획득(Acquire)구성(Organize)분석(Analyze)전달(Deliver)각 단계별 주요 내용1. 획득 단계:스테이징 데이터: 구조화된 데이터(ERP, SQL, R-DB, 로그)와 반/비구조화 데이터(텍스트/문서, 이미지) 포함스트리밍 데이터: 로그, IoT 피드, 비디오, 오디오, 이미지 등구성 단계:데이터 준비: 배치 데이터 통합, 파이프라인 관리, 품질 관리실시간 수집: API 플랫폼, 메시지 브로커(통합 브로커, 메시지 큐)고성능 수집데이터 웨어하우스와 데이터 레이크 비교, 가상화분석 단계:모델 선택모델 훈련하이퍼파라미터 튜닝추론중앙집중식 프로젝트 또는 셀프 서비스/플랫폼 접근사내 시스템 또는 클라우드 AI 서비스 활용전달 단계:전통적인 보고서시각적 탐색분석 대시보드..