데이터 공부하는 뉴욕킴

Recurrent Neural Networks (RNNs)와 Attention 메커니즘은 모두 딥러닝에서 시퀀스 데이터를 처리하는 데 중요한 기술이지만, 그 동작 방식과 처리 능력에서 차이가 있습니다. 이 두 기법은 주로 자연어 처리(NLP), 시계열 분석, 음성 인식 등 순차적 데이터가 중요한 작업에 사용됩니다. 2020년을 기준으로, 두 기법의 차이점을 아래와 같이 설명할 수 있습니다.1. RNN (Recurrent Neural Networks)RNN은 시퀀스 데이터의 시간적 정보를 처리하기 위해 설계된 신경망입니다. RNN은 입력 시퀀스에서 순차적으로 데이터를 처리하며, 각 시점의 입력을 순차적으로 입력받아 이전 시간 정보(시점 t-1)를 현재 시점의 계산에 활용합니다.주요 특징:순차 처리: RNN..

Part 5-1,2  1. 딥러닝이란 무엇인가?  딥러닝은 신경망에서 히든 레이어를 2개 이상 사용하는 것으로, 현실적으로는 많은 레이어를 사용합니다.  2. 딥러닝이 현재 각광받고 있는 이유를 설명하시오.  딥러닝이 각광받는 이유는 하드웨어(GPU, 데이터의 양), 소프트웨어(Vanishing gradient 문제 해결: ReLU, Regularization: Dropout, Optimization: Adam, Architecture: CNN, RNN) 등이 발전했기 때문입니다.  3. 다음 중 CNN의 구성 요소가 아닌 것은? a. Convolutional Layerb. MaxPooling Layerc. Fully Connected Layerd. Recurrence Layer 4. Convolutio..

1. 생성 모델 (Generative Models)2012년: Deep Learning 혁명 (AlexNet)설명: 2012년에 발표된 AlexNet은 딥러닝의 혁명적인 변화를 이끌어낸 모델로, 이미지 분류에서 획기적인 성능을 보였습니다. AlexNet은 깊은 신경망 구조와 ReLU 활성화 함수, 드롭아웃 기법을 사용하여 ImageNet 대회에서 우승을 차지했습니다.의의: 딥러닝이 실질적인 문제 해결에 적용될 수 있음을 증명했습니다.2016년: AlphaGo설명: AlphaGo는 구글 딥마인드가 개발한 바둑 인공지능으로, 신경망을 이용한 강화학습을 통해 인간 챔피언을 이겼습니다. 정책 네트워크와 가치 네트워크를 결합한 형태의 모델을 사용했습니다.의의: 강화학습과 딥러닝의 결합으로 복잡한 전략 게임에서도 ..

Undercomplete Autoencoder**Undercomplete Autoencoder(언더컴플리트 오토인코더)**는 입력 데이터의 중요한 특징을 추출하기 위해 인코더 부분에서 차원을 축소하는 오토인코더입니다. 이 모델의 목표는 입력 데이터(𝑥x)를 더 작은 은닉 표현(ℎh)으로 인코딩한 후, 이를 디코더를 통해 다시 원래의 입력 데이터(𝑥′x′)로 복원하는 것입니다.목적: 입력 데이터의 중요한 특징을 압축하여 표현하는 데 있습니다. 이 과정에서 중요한 정보는 유지하면서 불필요한 정보는 제거됩니다.구조: 인코더와 디코더로 구성되며, 인코더는 입력 데이터를 더 작은 차원으로 압축하고, 디코더는 이를 다시 복원합니다.Usage of Autoencoders오토인코더의 사용 사례는 다양하며, 특히 다..

Generative Models 판별 모델 (Discriminative Models):판별 모델은 입력 데이터를 특정 클래스 또는 레이블로 분류하는 데 중점을 둡니다.입력 데이터와 해당 클래스 간의 관계를 학습하여, 새로운 입력 데이터가 주어졌을 때 어떤 클래스에 속하는지를 결정합니다.주어진 데이터의 특징을 기반으로 각 클래스를 구분하기 위한 경계를 학습합니다.예시로는 로지스틱 회귀, 의사결정 트리, 서포트 벡터 머신 등이 있습니다.판별 모델은 데이터의 분류 및 회귀와 같은 작업에 주로 사용됩니다.생성 모델 (Generative Models):생성 모델은 주어진 데이터의 분포를 학습하여 새로운 데이터를 생성하는 데 중점을 둡니다.데이터의 확률 분포를 학습하고, 이를 기반으로 새로운 데이터를 생성합니다.생..

Convolutional Neural Networks 딥러닝은 무엇인가? 신경망에서 히든레이어를 2개 이상 쓴 것딥러닝은 히든 레이어를 두 개 이상 사용하는 신경망의 한 형태입니다. 현실에서는 여러 개의 히든 레이어를 사용합니다.딥러닝이 성공하는 이유는 GPU와 같은 하드웨어의 발전, 빅 데이터의 확산, 그리고 여러 소프트웨어 기술의 발전 때문입니다. 여기에는 ReLU 활성화 함수, 드롭아웃 정규화, Adam 최적화 알고리즘 등이 포함됩니다.합성곱 신경망(CNN, Convolutional Neural Networks)CNN은 1989년 LeCun에 의해 제안된 신경망의 특수한 형태로, 그리드 형태의 데이터 처리에 최적화되어 있습니다. 예를 들어, 이미지(2D 그리드)나 시계열 데이터(1D 그리드) 처리에..

합성곱 신경망(Convolutional Neural Networks, CNN)의 핵심 개념 중 하나는 데이터와 합성곱 필터(커널) 간의 행렬 곱셈을 통한 특징 추출입니다. 여기서 주요 차이점은 다음과 같습니다: 희소 연결(Sparse Connection): CNN에서 필터는 입력 데이터의 그리드와 같은 로컬 데이터에만 연결되어 있어, 전체 데이터 대신 특정 지역의 특징을 추출하게 됩니다. 이러한 방식은 전체 데이터를 고려하는 대신, 중요하다고 생각되는 부분에 집중하여 필터링합니다. 이는 계산 효율성을 높이고, 데이터 내 중요 정보에 대한 집중력을 향상시키는 특징을 가집니다. 파라미터 공유(Parameter Sharing): 합성곱 신경망에서 동일한 필터가 입력 이미지의 모든 픽셀에 적용됩니다. 이는 모든..

Deep Neural Networks Neural networks that have more than two hidden layers (2개 이상) Capacity increases when the number of hidden layers is large -> Capa을 올리기 위해서 더 많은 connections이 필요함 복잡한 모델을 사용하기 위해서는? Wide (width) → 한번에 복잡한 것 처리 Deep (depth) → 여러 층을 거치며 복잡한 것을 처리 Wide Networks: 'Wide' 신경망은 주로 네트워크의 각 층에 많은 수의 뉴런(또는 노드)를 가집니다. 이러한 구조는 넓은 데이터(많은 특징을 가진 데이터)를 처리하는데 적합할 수 있습니다. 'Wide' 네트워크는 종종 특징 간..

Artificial Neural Networks(ANN): 인공 신경망 Components (인공신경망 구성요소) 1. 노드/유닛 (Node/Unit): 각 층(Layer)을 구성하는 요소 2. 층(Layer) - 입력층(Inpur Layer): 데이터를 받아들이는 층 - 은닉층(Hidden Layer): 데이터를 한 번 이상 처리한 노드로 구성된 층 - 출력층(Output Layer): 최종 은닉층 또는 입력층에 가중치를 곱하고, 출력함수의 결과를 얻은 노드로 구성된 층 3. 가중치(Weight): 노드와 노드간의 연결강도를 나타내미 4. 합(Summation): 가중치와 노드의 곱을 합하는 것 5. 활성함수(Activation Function): 합을 처리해주는 함수로 은닉층 노드의 결과를 얻을 경우..

Model Selection ▪ Selection of model parameter (capacity) → 모델의 크기를 말함(얼마나 복잡한 것을 썼나) ▪ If we assume a p-order polynomial regressor To Avoid Overfitting → 오버피팅을 피할 수 있는 최적의 학습곡선 (Learning Curve) 찾기 k-fold Cross-Validation 1. Partition data into k-folds 1) Training and testing • k models with different folds • Each fold becomes training data for k-1 times • Each fold becomes test data for 1 time ..