빅데이터란?
1) 조직의 내외부에 존재하는 다양한 형태의 데이터를 수집, 처리, 저장하여 목적에 맞게 분석하여 조직의 전략적 의사결정 또는 시스템화 하여 생산성 향상에 활용하거나 새로운 비즈니스 모델을 창출하는 패러다임
빅데이터의 역사
빅데이터 자체의 개념은 비교적 새로운 것이지만, 대규모 데이터 세트의 기원은 최초의 데이터 센터가 등장하고 관계형 데이터베이스가 개발되는 등 데이터 세상이 막 시작되었던 1960년대와 70년대로 거슬러 올라갑니다.
2005년 무렵 사람들은 Facebook, YouTube 및 기타 온라인 서비스를 통해 사용자가 얼마나 많은 양의 데이터를 생성하고 있는지 깨닫기 시작했습니다. 같은 해에 Hadoop(빅 데이터 세트를 저장하고 분석하기 위해 특별히 개발된 오픈 소스 프레임워크)이 개발되었습니다. NoSQL도 이 기간 동안 인기를 얻기 시작했습니다.
Hadoop(그리고 최근에는 Spark) 같은 오픈 소스 프레임워크의 개발은 빅 데이터를 보다 손쉽게 사용하고 저렴하게 저장할 수 있게 해준다는 점에서 빅 데이터의 성장에 필수적이었습니다. 그 이후로 빅 데이터의 양이 급증했습니다. 사용자는 여전히 방대한 양의 데이터를 생성하고 있지만, 데이터를 생성하는 것은 인간만이 아닙니다.
Internet of Things(IoT)의 출현으로 더 많은 객체와 장치가 인터넷에 연결되어 고객 사용 패턴 및 제품 성능에 대한 데이터를 수집하고 있습니다. 머신러닝의 등장으로 더 많은 데이터가 생성되었습니다.
빅 데이터의 역사는 오래되었지만, 활용은 이제 시작 단계입니다. 클라우드 컴퓨팅으로 빅 데이터 가능성이 더욱 확장되었습니다. 클라우드는 개발자가 임시 클러스터를 손쉽게 가동하여 데이터 하위 집합을 테스트할 수 있도록 진정한 의미에서 탄력적인 확장성을 제공합니다. 또한 그래프 데이터베이스는 분석 속도를 높이고 포괄적인 방식으로 대량의 데이터를 표시할 수 있으므로 점점 더 중요해지고 있습니다.
출처 ↓
https://www.oracle.com/kr/big-data/what-is-big-data/#history
지식을 탐색하는 방법
1. 연역적 접근: 이미 알고있는 지식을 중심으로 탐색 → 합리주의적 방법
2. 귀납적 접근: 개별 사례들에 대한 관찰을 통해 일반적인 결론을 이끌어 냄, 과거의 사례나 축적된 데이터를 분석해 문제 해결 → 경험주의적 방법 → 이것이 바로 빅데이터!!
빅데이터 출현 배경
1) 정보기술의 발전에 따른 컴퓨터 활용 확대
2) 소셜미디어 급격한 확산
3) 사물인터넷 IoT 확산에 따른 센서 데이터 증대
4) 멀티미디어 콘텐츠와 콘텐츠 사용에 대한 정보 증가
5) 데이터 저장 및 처리기술의 발전
→ 패러다임의 변화: 비정형 데이터의 증가(음성, 이미지, 텍스트 등)
→ 조직의 내부 데이터 분석 중심에서 외부 데이터를 활용함
빅데이터의 핵심요소
1) 데이터
2) 데이터의 수집, 처리, 저장기술 (정형 데이터, 비정형 데이터)
3) 데이터의 분석 및 지식추출 기술
빅데이터의 3요소
1) 기술적 요소
- 데이터 수집, 처리 및 분석
2) 전략적 요소
- Digital transformation 전략(경영의 제반 분야를 근본적으로 변화시키는 것)
- 빅데이터 활용 기획(조직의 문제해결을 위해 활용목표 및 방법을 정의, 자원 확보)
- 빅데이터 분석 및 활용 기회의 탐색(어떤 문제 해결에 빅데이터를 활용하고자 하는지 탐색하고 시나리오를 구축)
3) 인적요소
- 전문인력(CDO chief data officer)
- Data scientists (통계지식+비즈니스 이해+전략수립)
- 전문조직(빅데이터센터, 빅데이터 팀)
- 교육 및 변화관리(현업의 데이터 분석, 기획, 시나리오 도출의 중요성 → 현업의 도움이 없으면 활용하기 힘들다)
빅데이터와 인공지능
최근에는 빅데이터(Big Data) 분석에서 빠질 수 없는 부분이 인공지능(Artificial Intelligence)이고, 인공지능에서 빠질 수 없는 부분도 빅데이터인 시대가 된 것 같습니다. 인공지능과 빅데이터 사이에는 서로 어떠한 연관성이 있을 것으로 추측이 됩니다. 요즘 핫한 Chat GPT도 머신러닝과 딥러닝 알고리즘을 사용해 빅데이터를 학습하여 훈련되었습니다.
2010년대 (제3차 붐)
→ 빅데이터와 기계학습, 딥러닝, 머신러닝
→ 귀납에 의한 지식획득 가능성 극대화
→ 비정형 데이터의 활용 가능성 극대화
1. 인공지능과 빅데이터 관계 ↓
https://modulabs.co.kr/blog/ai-bigdata/
2. 빅데이터로 살펴본 '알파고'
https://textom.co.kr/home/bbs/view.php?id=withtextom&no=16
빅데이터가 제공하는 기회
1. 의사결정의 질 제고: 의사결정 효과성 및 적시성 향상
2. 운영효율 제고: 데이터분석을 통해 도출된 지식을 시스템화하여 업무에 적용
3. 새로운 가치 창출: 새로운 비즈니스, 서비스 모델 창출
ex. 옷에 부착된 웨어러블로 새로운 비즈니스를 창출
https://newsroom.daewoong.co.kr/archives/7588
→ 미래의 새로운 자원, 비즈니스 혁신의 도구, 비즈니스 창조의 도구
'Data Science Issue' 카테고리의 다른 글
| [05] 데이터분석의 종류 (0) | 2023.03.24 |
|---|---|
| [공모전 준비] 데이터 분석 수상작 한 눈에 볼 수 있는 사이트 공유 (0) | 2023.03.22 |
| [04] 데이터 저장 및 처리 방법 (0) | 2023.03.22 |
| [03] 데이터의 종류 (0) | 2023.03.22 |
| [초청세미나] 데이터 기반의 그로스 해킹이란? (0) | 2023.03.19 |