데이터 공부하는 뉴욕킴

LSTM 모델을 실행할 때 L4와 T4 GPU 중 어느 것이 더 적합한지는 주로 모델의 복잡도와 배치 크기에 따라 달라집니다.T4 GPU:아키텍처: Turing 아키텍처 기반.성능: FP32와 FP16 연산을 모두 지원하며, 특히 추론 작업에서 효율적입니다.장점: 전력 효율이 좋고, 비교적 저렴한 비용으로 클라우드 서비스에서 사용 가능합니다.LSTM과의 호환성: LSTM은 주로 FP32 연산을 사용하며, 특히 대규모 추론 작업에 유리하기 때문에 T4 GPU가 일반적으로 더 자주 사용됩니다.L4 GPU:아키텍처: 최신 Ada Lovelace 아키텍처 기반.성능: FP8과 FP16 연산 최적화가 되어 있으며, 특히 생성 AI와 대규모 추론 작업에서 탁월한 성능을 발휘합니다.장점: 더 높은 AI 성능 최적화를..

플레이어 수 예측주 태스크로 하고 그 예측값을 사용하여 미분 가능한 효율성 계산을 수행하며 두 태스크의 손실을 동시에 최적화시키기 목적: 플레이어 수를 효율성을 계산하며 예측하기# 1단계: 플레이어 수 예측predicted_players = model.predict(input_data)# 2단계: 효율성 계산efficiency = (predicted_players / (tables * 5)) * 100 문제점: 플레이어 수를 예측하고 효율성을 예측하면 두 단계가 독립적으로 수행되어, 효율성 계산이 예측에 영향을 주지 못한다.# 이렇게 하면 각각 따로 계산됨predicted_players = model.predict(input_data) # 첫 번째 모델efficiency = calculate_effic..

Convolutional Neural Networks (CNN) in Machine Learning**Convolutional Neural Networks (CNN)**는 주로 이미지와 같은 그리드 구조의 데이터를 처리하는 데 특화된 딥러닝 모델입니다. CNN은 이미지 분류, 객체 탐지, 이미지 생성 등 다양한 컴퓨터 비전 작업에서 매우 효과적입니다.CNN의 주요 구성 요소Convolutional Layer (컨볼루션 레이어):역할: 입력 이미지에서 특징을 추출합니다.작동 원리: 필터(또는 커널)를 사용하여 입력 이미지와의 합성곱 연산을 수행합니다.필터: 작은 크기의 행렬로, 이미지 전체를 스캔하며 각 위치에서 국소적 특징을 추출합니다.출력: 필터가 이동하며 생성한 특징 맵(feature map).Poo..

머신러닝 기법들인 Decision Tree, AdaBoost, Gradient Boosting, XGBoost, LightGBM은 모두 트리 기반의 앙상블 학습 방법을 사용하지만, 각각의 특징과 동작 방식에는 몇 가지 차이가 있습니다. 1. Decision Tree (의사 결정 트리):단일 트리 모델로, 데이터를 특성에 따라 분할하여 의사 결정을 내리는 방식입니다.각 노드에서의 최적의 분할을 찾기 위해 정보 이득이나 지니 불순도 등의 지표를 사용합니다.해석이 용이하고 설명력이 뛰어나지만, 과적합(overfitting)되기 쉬운 경향이 있습니다.model = DecisionTreeRegressor(random_state=random_state) #결정 트리 회귀 모델을 초기화# Define the hype..

Accuracy vs. Interpretability  → decision tree, regression 많이 사용(해석력이 좋은 모델들 선호)   Decision Tree의사결정 나무(Decision Tree)는 예측 모델 중 하나로, 독립 변수의 조건에 따라 종속 변수의 값을 예측하는 데 사용됩니다. 이 모델은 '나무'라는 이름처럼, 뿌리에서 시작해 각 분기점(node)에서 특정 기준에 따라 데이터를 나누고, 마지막에는 각각의 잎 노드(leaf node)로 데이터를 분류합니다. 의사결정 나무는 분류와 회귀 모두에 사용될 수 있으며, 간단하고 해석하기 쉬운 모델로 많이 사용됩니다. → 주로 분류에서 사용    [추후 참고] 의사결정나무(decision tree) (tistory.com)  의사결정나무(..

Regularization Overfitting (과적합):원인: 데이터가 적을 경우, 복잡한 데이터일 경우(변수가 너무 많음, weights이 큰 경우)정의: 모델이 훈련 데이터에 너무 밀접하게 맞춰져서 생성되는 오류입니다. 이 경우, 모델은 훈련 데이터의 노이즈와 잡음까지 학습하여, 새로운 데이터나 테스트 데이터에 대해서는 일반화를 잘 수행하지 못합니다.특징:모델이 훈련 데이터에서는 매우 높은 성능을 보이지만, 테스트 데이터나 실제 적용 시에는 성능이 저하됩니다.복잡한 모델(많은 파라미터를 가진)이 과적합될 위험이 더 큽니다.해결 방법:데이터 양 증가, 불필요한 변수 제거, weights 줄이기, 교차 검증, 정규화 기법 적용, 간단한 모델 사용 등이 있습니다.Underfitting (과소적합):원인..

예측값과 실제값 : MSE · RMSE · MAE · R2 1. MSE (Mean Squared Error) MSE는 실제값에서 예측값을 뺀 값의 제곱의 평균입니다. 이는 모델의 예측값과 실제값 차이의 면적의 제곱합을 의미하며, 제곱을 하기 때문에 특이치 (Outlier)에 민감합니다. 2. RMSE (Root Mean Squared Error) RMSE는 MSE값에 루트를 씌운 값입니다. 이 지표는 예측변수와 단위가 같으며, 예를 들어 기온을 예측하는 모델의 RMSE가 5라면 이 모델은 평균적으로 5 정도를 잘못 예측하는 것이라 볼 수 있습니다 → 해석력이 좋은 장점 있음 3. MAE (Mean Absolute Error) MAE는 모델의 예측값과 실제값의 차이의 절대값의 평균입니다. 이는 실제 값과 ..

Python Packages • Pandas: Data manipulation and analysis. • Makes working with structured data easy. • Numpy: Numeric Python. • Used for mathematical and logical operations on arrays. • scikit-learn: Machine Learning in Python. • Provides simple and efficient tools for data analysis and modeling. • Matplotlib: Visualization library. • Allows creation of static, animated, and interactive plots in..

사이킷런 의사결정나무 알고리즘 Supervised learning의 classification 기법 새로 들어온 고객이 물건을 구매할지, 구매하지 않을지를 분류 1.10. Decision Trees — scikit-learn 1.3.2 documentation 1.10. Decision Trees Decision Trees (DTs) are a non-parametric supervised learning method used for classification and regression. The goal is to create a model that predicts the value of a target variable by learning s... scikit-learn.org tree 패키지 불러오기..

사이킷런이란? 사이킷런은 대표적인 파이썬 머신러닝 라이브러리로 Classification(분류), Regression(회귀) 모델을 주로 사용합니다. scikit-learn: machine learning in Python — scikit-learn 1.3.2 documentation scikit-learn: machine learning in Python — scikit-learn 1.3.2 documentation Model selection Comparing, validating and choosing parameters and models. Applications: Improved accuracy via parameter tuning Algorithms: grid search, cross vali..