데이터 공부하는 뉴욕킴

Convolutional Neural Networks (CNN) in Machine Learning**Convolutional Neural Networks (CNN)**는 주로 이미지와 같은 그리드 구조의 데이터를 처리하는 데 특화된 딥러닝 모델입니다. CNN은 이미지 분류, 객체 탐지, 이미지 생성 등 다양한 컴퓨터 비전 작업에서 매우 효과적입니다.CNN의 주요 구성 요소Convolutional Layer (컨볼루션 레이어):역할: 입력 이미지에서 특징을 추출합니다.작동 원리: 필터(또는 커널)를 사용하여 입력 이미지와의 합성곱 연산을 수행합니다.필터: 작은 크기의 행렬로, 이미지 전체를 스캔하며 각 위치에서 국소적 특징을 추출합니다.출력: 필터가 이동하며 생성한 특징 맵(feature map).Poo..

Undercomplete Autoencoder**Undercomplete Autoencoder(언더컴플리트 오토인코더)**는 입력 데이터의 중요한 특징을 추출하기 위해 인코더 부분에서 차원을 축소하는 오토인코더입니다. 이 모델의 목표는 입력 데이터(𝑥x)를 더 작은 은닉 표현(ℎh)으로 인코딩한 후, 이를 디코더를 통해 다시 원래의 입력 데이터(𝑥′x′)로 복원하는 것입니다.목적: 입력 데이터의 중요한 특징을 압축하여 표현하는 데 있습니다. 이 과정에서 중요한 정보는 유지하면서 불필요한 정보는 제거됩니다.구조: 인코더와 디코더로 구성되며, 인코더는 입력 데이터를 더 작은 차원으로 압축하고, 디코더는 이를 다시 복원합니다.Usage of Autoencoders오토인코더의 사용 사례는 다양하며, 특히 다..

Attention MechanismAttention Mechanism은 특정 단어를 예측할 때, 해당 단어와 유사한 인코딩된 히든 벡터의 정보를 함께 사용하여 디코딩하는 방법입니다. 예를 들어, "beer"를 예측할 때, "bier"와 같은 유사한 단어의 인코딩된 정보를 사용합니다. 이는 예측의 정확성을 높이는 데 도움을 줍니다.Self-AttentionSelf-Attention은 입력 단어 벡터의 모든 히든 상태를 사용하여 해당 단어와의 관계를 계산합니다. 이 메커니즘은 입력 벡터의 차원이 512일 때, 8개의 헤드로 나누어 각 헤드의 입력 벡터 차원을 64로 설정하여 계산을 수행합니다. 각 단어 간의 유사도를 계산하고, 이를 바탕으로 어텐션 가중치를 적용하여 최종 출력을 생성합니다.Multi-Head..

실험 (Experiment)정의: 결과를 만드는 과정 (Definition = the process of making outcome)임의 실험 (Random Experiment)정의: 여러 가능한 결과 중 하나로 이어지는 행동이나 과정 (An action or process that leads to one of several possible outcomes)공정한 실험: 특정 결과를 얻기 위해 조작되지 않은 공정한 실험 (The fair experiment that was not manipulated to get certain outcomes)특징: 결과를 확실하게 예측할 수 없는 경우, 이는 랜덤 실험이다 ("If the outcome may not be predicted with certainty, ..

저번주 토요일에 새로 생긴경영정보시각화능력의 필기 시험을 보고 왔습니다~! 요즘 회사에서 대시보드를 많이 만들고 있어서공부할 겸 시험 접수를 해버렸는데 야근이 많아서 제대로 공부한 것은 2주 인 것 같습니다. 시청역에 있는 대한상공회의소 지하2층에서 시험을 봤습니당 뭔가 생각했던 분위기 보다편안해서 1차 놀람  ▶ 준비물: 신분증, 검정색 마킹펜, 수험표(답지 적어 올 수 있음) 60문제를 쫙 풀었더니 30분이 걸렸고나머지 15분 정도는 다시 한번 쫙 풀고 마킹을 했습니다. power bi로 대시보드를 많이 만들고 있는 저에게는필기 시험이 업무에도 도움이 많이 되었습니다. 데이터시각화는 데이터를 보기 쉽게 대시보드로 시각화하는업무에서는 가장 중요한 요소라고 생각하는데 생각보다 기본 개념을 알려주는 강의가..

범위(range) - 산포도를 나타내는 가장 간단한 통계치 - 가장 큰 값에서 가장 작은 값을 뺀 값 - 이상치에 민감(튀는 값이 하나만 있어도 범위가 매우 커짐) 분산(variance): Mean - Data value - 각 데이터가 평균에서 얼마나 떨어져 있는지 - 데이터의 평균값을 구하고 모든 데이터에 평균을 뺴주면, 각 데이터가 평균에서 얼마나 떨어져있는지 알 수 있음 → 평균적인 편차  표준편차(standard deviation) - 분산에 제곱근을 한 값 사분위수 - 제1사분위수, 제2사분위수, 제3사분위수, 제4사분위수  - 범위는 이상치에 민감  mean : 10.3 median : 9.9mode : 최빈값 → N/A (2개 이상인 값이 없음) variance : 18.4 standard..

(1) 회계ㆍ재무 관련 정보 ● 재무관리 관련 정보 : 투자 경제성, 위험 및 기대수익률, 자본비용 산정 등 → 오답: 이자와 배당 등 자본비용 산정● 회계관리 관련 정보 : 자산, 부채, 자본, 손익 등을 포괄하는 재무제표 관리, 재무비율 분석 등 (2) 인적자원 관련 정보 ● 인사ㆍ조직 전략 관련 정보 : 인사ㆍ조직 전략 및 인력 운영 계획, 직무 분석 및 평가 등  ● 인적자원관리 관련 정보 : 채용 및 배치, 인사 평가, 임금 및 복리후생, 퇴직관리 및 전직지원 등  ● 인적자원개발 및 조직개발 관련 정보 : 교육 및 경력개발, 조직성과 향상 및 조직문화 발전 등 (3) 마케팅ㆍ영업 관련 정보 ● 시장 기회 관련 정보 : 시장 환경 분석, 고객 관여도 및 구매 행동 분석 등  ● STP 전략 관련..

변분 자동 인코더 (Variational Autoencoder, VAE) VAE는 딥러닝 모델 중 하나로, 데이터를 어떻게 생성할 수 있는지를 배우는 모델입니다. 이 모델은 데이터에서 중요한 특징을 추출하고, 이를 바탕으로 새로운 데이터를 생성할 수 있습니다.인코더(Encoder): 이 부분은 입력 데이터(예: 사진)를 받아서 그 데이터의 핵심을 나타내는 숫자들의 집합(잠재 벡터)으로 바꿔 줍니다. 잠재 벡터는 입력 데이터를 대표하는 중요한 정보만을 포함하고, 이는 일종의 압축된 형태로 볼 수 있습니다.디코더(Decoder): 인코더에서 생성된 잠재 벡터를 다시 원래의 데이터 형태(예: 사진)로 복원합니다. 이 과정을 통해 모델은 데이터를 어떻게 생성해야 하는지를 배웁니다.변분 추론 (Variationa..

모집단과 표본:모집단(population)은 조사하고자 하는 전체 대상이나 개체들을 의미합니다. 예를 들어, 대통령 선거에 대한 대중 의견 조사의 경우, 대한민국의 성인 유권자가 모집단이 될 수 있습니다.표본(sample)은 모집단의 일부분을 나타냅니다. 무작위로 선택된 표본은 모집단을 대표할 수 있어야 합니다.모집단은 유한하거나(특정 비행기에 탑승한 모든 승객) 무한할 수 있습니다(지속적인 병행 공정에서 생산된 모든 콜라).모수와 통계량:모수(parameter)는 모집단에서 수집된 수치 정보를 나타냅니다. 모집단의 특성을 반영합니다. 예를 들어, 모집단의 평균 연령이나 인구 수 등이 모수가 될 수 있습니다.통계량(statistic)은 표본에서 얻은 수치 값입니다. 이 통계량은 모집단의 특성을 반영합니다..

머신러닝 기법들인 Decision Tree, AdaBoost, Gradient Boosting, XGBoost, LightGBM은 모두 트리 기반의 앙상블 학습 방법을 사용하지만, 각각의 특징과 동작 방식에는 몇 가지 차이가 있습니다. 1. Decision Tree (의사 결정 트리):단일 트리 모델로, 데이터를 특성에 따라 분할하여 의사 결정을 내리는 방식입니다.각 노드에서의 최적의 분할을 찾기 위해 정보 이득이나 지니 불순도 등의 지표를 사용합니다.해석이 용이하고 설명력이 뛰어나지만, 과적합(overfitting)되기 쉬운 경향이 있습니다.model = DecisionTreeRegressor(random_state=random_state) #결정 트리 회귀 모델을 초기화# Define the hype..