DSML(Data Science for Operation, together with Machine Learning) Introduction - DSML이란?

DSML 프로세스 4단계

1. 획득(Acquire)
2. 구성(Organize)
3. 분석(Analyze)
4. 전달(Deliver)

각 단계별 주요 내용

1. 획득 단계:

1. • 스테이징 데이터: 구조화된 데이터(ERP, SQL, R-DB, 로그)와 반/비구조화 데이터(텍스트/문서, 이미지) 포함
   • 스트리밍 데이터: 로그, IoT 피드, 비디오, 오디오, 이미지 등
2. 구성 단계:
   • 데이터 준비: 배치 데이터 통합, 파이프라인 관리, 품질 관리
   • 실시간 수집: API 플랫폼, 메시지 브로커(통합 브로커, 메시지 큐)
   • 고성능 수집
   • 데이터 웨어하우스와 데이터 레이크 비교, 가상화
3. 분석 단계:
   • 모델 선택
   • 모델 훈련
   • 하이퍼파라미터 튜닝
   • 추론
   • 중앙집중식 프로젝트 또는 셀프 서비스/플랫폼 접근
   • 사내 시스템 또는 클라우드 AI 서비스 활용
4. 전달 단계:
   • 전통적인 보고서
   • 시각적 탐색
   • 분석 대시보드
   • 스토리텔링/내러티브
   • 배포 및 모니터링
   • 스마트 기기 상호작용, 애플리케이션 임베딩, 데이터 스토어 강화

이 프로세스는 데이터 과학과 머신러닝 프로젝트의 전체 흐름을 포괄적으로 보여줍니다.