데이터 공부하는 뉴욕킴

DB 설계 절차 1단계: 데이터베이스 계획 서비스 문제 : 시스템 사용 복잡, 배우기 어려움, 시스템 문서화가 잘 되어 있지 않음, 업무 변화로 인한 시스템 변경 용이X 경제성 문제 : 재고 관리 & 고객관리 비용 과다, 이윤 증대 기회를 가져옴, 새로운 시장 발굴 가능, 주문 처리량 증대 2단계: 데이터베이스 요구사항 도출 시스템의 문제점 및 요구사항을 심도 있게 파악하기 위해 현업 실무진과 경영층을 포함한 최종사용자 면접 진행(그룹/개별) 설문지 조사 / 사용자 관찰 / 문서 분석 / JAD(Joint Application Development) 3단계: E-R 모델 생성 4단계: 데이터베이스 스키마로 변환 / 내부모델 5단계: 정규화 진행 6단계: 최종 스키마 확정 7단계: 데이터베이스 구현 참고자..

1. 텍스트 전처리 1) 토큰화: 주어진 텍스트를 작은 부분인’ 토큰’으로 나누는 과정/ 문장을 개별 단어로 분리하는 것을 의미함. ➔ 예시: 구두점 제외시키기: 마침표. 컴마, 물음표? 세미콜론; 느낌표! - I love music -> [“i”, “love”, “music”] 으로 변환 ➔ 토큰화 고려점: * 구두점이나 특수문자를 단순히 제외해서는 안된다.($45.55 123,456,789 ->문장의 경계를 알 수 있는데 도움이 됨) * 줄임말과 단어 내에 띄어쓰기가 있는 경우 (we're -> we are, i'm -> i am) ➔ 한국어 토큰화 문제점: 교착어의 문제, 한국어는 영어보다 띄어쓰기가 잘 지켜지지 않는다. 2) 정규화: 다양한 형태의 텍스트를 일관된 형태로 변환하는 작업(동일한 의미..

1. 데이터와 데이터베이스에 대한 정의 - 데이터: 알려진 사실들(known facts) → 가공된 데이터로 의사결정에 도움을 줌 - 데이터베이스: 관련있는 데이터를 최소한의 중복으로 통합해 놓은 데이터의 집합체/ 사용자 데이터와 데이터베이스의 설계를 나타내는 스키마로 모두 데이터베이스에 저장 2. 데이터베이스 관리 시스템의 기능에 대해 설명 데이터 저장 관리(데이터 저장에 필요한 데이터의 물리적 구조를 생성하고 관리하는 기능) 데이터 무결성 관리(데이터베이스 스키마를 정의하는 과정에서 사용자에 의해 정의되어 데이터 사전에 저장되고 관리됨) 데이터 사전 관리(사용자 데이터와 마찬가지로 스키마도 시간이 지남에 따라 변화함, 변경사항은 DBMS에 의해 기록, 관리됨) 다중 사용자 접근 통제(다수의 사용자가 ..

데이터 정규화 개념 및 목적 데이터 중복, 삽입, 삭제, 갱신 시에 발생 할 수 있는 이상 현상들을 제거하기 위한 데이터베이스 설계상의 한 단계 데이터 정규화 단계 정규화: 속성들 사이의 종속 관계를 찾아내고 이를 재그룹함으로써 관계형 스키마를 단계적으로 분할하는 과정 제 1정규화: 반복되는 그룹X, 모든 비기본키 속성은 기본키에 함수적으로 종속된다. 제 2정규화: 제 1정규형의 조건을 만족해야됨, 부분 종속성(비기본키 속성 기본키의 일부에 함수적으로 종속되는현상)을 가지지 않아야 됨 제 3정규화: 제2 정규형의 조건을 만족해야됨, 이행 종속성을 가지지 않아야 함 이행 종속성: 비기본키 속성이 다른 비기본키 속성에 의해 함수적으로 종속되는 현상 데이터베이스 설계 절차 E-R 모델 개체 ㅁ: 독립적으로 존..

추상도에 따른 데이터 모델의 분류 ▶ 개념 모델 가장 추상적인 모델 주요 대상의 식별과 묘사에 중점을 두는 모델 개체관계(E-R) 모델이 대표적 예시: 학생, 교수, 과목, 강의 ▶ 내부 모델 관계형 모델에서 M:N의 관계는 데이터 중복성 문제를 야기하기 때문에 바람직하지 않은 관계유형으로 간주됨 M:N의 관계를 제거하도록 함 (M:N 관계의 데이터는 중복성 문제를 야기) 테이블 특징: 셀에 들어갈 수 있는 속성 값의 개수는 하나이다. 1) 키의 종류 기본 키 primary key : 테이블의 각 레코드를 식별할 수 있는 필드 외래 키 foreign key : 다른 테이블에서 기본 키로 사용되는 필드 복합 키 composite key : 하나 이상의 필드들로 구성되는 기본 키 2) 무결성 규정 개체 무결..

1) 빅데이터 종류 - 정형데이터: 고정된 필드에 저장된 데이터, 데이터베이스를 설계한 사람에 의해 수집되는 형태 - 비정형데이터: 문서, 그림, 영상 등 정해지지 않은 데이터 - 분석대상 데이터 예시: 쿠팡 → 긍/부정, 주요 토픽 및 이슈, 리뷰에 많이 나오는 단어들 - 로그데이터: 사용자가 처음 사이트를 방문하는 순간부터 기록되는 데이터 → 사용자가 어떤 것들에 대해 관심이 많은지 분석 - 센서데이터: 부착된 센서로 정보 수집: cctv, 고속도로 통행 등 - 이미지 및 동영상: 딥러닝을 이용해 이미지 안에 어떤 상황이 있는지 읽어냄 2) 빅데이터의 수집 - 부정확한 데이터는 잘못된 데이터 분석 결과를 초래하므로 수집이 중요함 → 내부데이터(회사 내부)/ 외부데이터(인터넷)로 나뉨 - 내부데이터 수..