데이터 공부하는 뉴욕킴

VAE는 입력 데이터를 잠재 변수로 인코딩한 후 샘플링된 잠재 변수로부터 데이터를 디코딩한다.참 / 거짓GAN의 판별자는 입력된 데이터가 진짜인지 가짜인지 판별한다. 참  / 거짓Transformer 모델은 셀프 어텐션 메커니즘을 사용하여 입력 시퀀스 내의 단어 간 관계를 모델링한다. 참  / 거짓DBN은 여러 층의 제한된 볼츠만 머신(RBM)으로 구성된다. 참  / 거짓Diffusion 모델은 데이터를 노이즈로 변환한 후 이를 다시 원본 데이터로 복원하는 과정을 학습한다.참 / 거짓 VAE의 재파라미터화 트릭(reparameterization trick)에 대해 설명하시오.재파라미터화 트릭은 확률 변수의 샘플링 과정에서 그래디언트를 계산할 수 있도록 하는 기법으로, z=μ+σ⊙ϵ\mathbf{z} = ..

Explainable AI (설명 가능한 인공지능)1. Explain is All You Need (설명이 전부다)AI-Doctor:AI가 의사의 진단을 돕는 예를 들 수 있습니다. 의사가 진단을 내릴 때 AI도 함께 진단을 제시하며, 이를 통해 더 정확하고 빠른 진단이 가능합니다.Precrime investigation (미래 범죄 조사):영화 '마이너리티 리포트'(2002)에서처럼 범죄가 발생하기 전에 예측하고 대응하는 기술을 말합니다.2. Explainable AI (설명 가능한 AI)성능:여러 작업에서 AI의 성능은 충분히 만족스럽습니다. 예를 들어 시각 인식의 성능은 꽤 좋으며, 자연어 처리 성능도 상당히 괜찮습니다.투명성과 해석력 부족:이제는 신뢰, 공정성, 신뢰성, 안전성, 설명 가능성, 정..

Attention MechanismAttention Mechanism은 특정 단어를 예측할 때, 해당 단어와 유사한 인코딩된 히든 벡터의 정보를 함께 사용하여 디코딩하는 방법입니다. 예를 들어, "beer"를 예측할 때, "bier"와 같은 유사한 단어의 인코딩된 정보를 사용합니다. 이는 예측의 정확성을 높이는 데 도움을 줍니다.Self-AttentionSelf-Attention은 입력 단어 벡터의 모든 히든 상태를 사용하여 해당 단어와의 관계를 계산합니다. 이 메커니즘은 입력 벡터의 차원이 512일 때, 8개의 헤드로 나누어 각 헤드의 입력 벡터 차원을 64로 설정하여 계산을 수행합니다. 각 단어 간의 유사도를 계산하고, 이를 바탕으로 어텐션 가중치를 적용하여 최종 출력을 생성합니다.Multi-Head..

변분 자동 인코더 (Variational Autoencoder, VAE) VAE는 딥러닝 모델 중 하나로, 데이터를 어떻게 생성할 수 있는지를 배우는 모델입니다. 이 모델은 데이터에서 중요한 특징을 추출하고, 이를 바탕으로 새로운 데이터를 생성할 수 있습니다.인코더(Encoder): 이 부분은 입력 데이터(예: 사진)를 받아서 그 데이터의 핵심을 나타내는 숫자들의 집합(잠재 벡터)으로 바꿔 줍니다. 잠재 벡터는 입력 데이터를 대표하는 중요한 정보만을 포함하고, 이는 일종의 압축된 형태로 볼 수 있습니다.디코더(Decoder): 인코더에서 생성된 잠재 벡터를 다시 원래의 데이터 형태(예: 사진)로 복원합니다. 이 과정을 통해 모델은 데이터를 어떻게 생성해야 하는지를 배웁니다.변분 추론 (Variationa..

사전 지식 KL-Divergence(쿨백-라이블러 발산): 두 확률 분포의 차이를 측정하는 지표→ 주로 두 확률 분포가 얼마나 다른지를 비교하는 데 사용됩니다. KL-Divergence는 정보 이론과 확률 이론에서 많이 사용되며, 분포 간의 거리를 측정하여 모델의 학습 및 평가에 유용하게 활용   DKL(Q || P) vs DKL(P || Q) 일때 차이는?DKL(P || Q)는 확률 분포 P를 기준으로, 분포 Q와의 차이를 나타냅니다. 이는 P를 얼마나 잘 나타내는지를 평가하는 지표로서, 모델의 학습 및 평가에 유용합니다.반면에 DKL(Q || P)는 확률 분포 Q를 기준으로, 분포 P와의 차이를 나타냅니다. 이는 Q를 얼마나 잘 나타내는지를 평가하는 지표로서, 다른 관점에서의 분포 비교에 사용될 수 ..

Multimodal Learning다중 모달리티는 현실 세계의 정보가 다양한 형태로 존재하는 것을 의미합니다. 예를 들어, 시각적 자료(이미지, 비디오)와 텍스트 자료가 서로 다른 정보를 제공할 수 있습니다. 이러한 서로 다른 모달리티 간의 관계를 이해하고 통합하는 것이 중요합니다.다중 모달 작업 예시이미지/비디오 캡셔닝(Image Captioning): 이미지나 비디오에서 내용을 설명하는 문장이나 문단을 생성합니다.텍스트 기반 이미지/비디오 검색: 텍스트 쿼리를 통해 관련 이미지나 비디오를 선택합니다.시각적 질문응답(VQA, Visual Question Answering): 텍스트 질문과 이미지(또는 비디오)를 바탕으로 텍스트 답변을 생성합니다.공간적 위치 파악: 텍스트 설명과 이미지를 바탕으로 사건이..

Foundation Models 전이 학습(Transfer Learning)은 머신러닝의 한 분야로, 이미 한 작업에서 학습된 지식을 다른 관련 작업에 적용하여 모델의 학습을 가속화하고 개선하는 기법입니다.이 방법은 학습 과정에서 얻은 특성(예: 이미지 인식에서의 특징, 언어 처리에서의 단어 임베딩)을 다른 모델로 전달함으로써, 새로운 작업에 대해 더 적은 데이터로 더 빠르게 좋은 성능을 달성할 수 있도록 돕습니다. 예를 들어, 한 모델이 개와 고양이의 이미지를 구분하는 데 사용된 학습을 통해 획득한 이미지 처리 능력을, 다른 종류의 동물을 구분하는 작업에 적용할 수 있습니다. 이 경우, 초기 학습에서 얻은 저수준의 특징(예: 모양, 가장자리, 질감 등)이 새로운 작업에도 유용하게 사용될 수 있습니다. ..

Self Supervised Learning(자기지도학습) 자기지도 학습은 기계 학습의 한 방법으로, 명시적인 인간의 레이블 없이 입력 데이터의 일부를 다른 부분으로부터 예측하도록 모델을 학습시키는 것입니다. 이 방식은 데이터로부터 자동으로 레이블을 생성하며, 예측 작업 또는 입력 데이터의 재구성을 통해 이루어집니다. 전이 학습에 대한 설명은 다음과 같습니다:저수준 특징: 데이터의 기본적인 패턴이나 속성입니다. 예를 들어 이미지의 경우, 이는 가장자리, 색상, 또는 질감을 포함할 수 있습니다.고수준 특징: 네트워크가 깊어질수록 더 복잡하고 추상적인 특징을 학습합니다. 이러한 특징은 보다 복잡한 데이터의 측면, 예를 들어 이미지에서 특정 객체의 형태 등을 나타냅니다.분류기: 일반적으로 신경망의 마지막 부분..

Semi Supervised Learning(준지도학습) When only some images have the required label (전체 중 몇개의 이미지만 필요한 레이블을 가지고 있고, 다른 것들은 이미지만 가지고 있음)   Weakly Supervised Learning(약지도학습) When all images have the cost-efficient (incomplete) labels(불완전한 레이블을 가지고 있음) 학습한 것들을 요약(Mk) → 마스크 잡기 → 학습한 부분만 잡아줌   Semi Supervised Image classification 레이블이 지정된 데이터(수퍼바이즈드 학습에서 사용)와 레이블이 지정되지 않은 데이터를 모두 사용하여 모델을 훈련시키는 방법 레이블이 있는 ..

Super Resolution 낮은 해상도의 이미지를 고해상도로 변환하는 과정1) Interpolation-based method(보간 기반 방법)  이미지의 낮은 해상도 부분에 대한 새로운 픽셀 값을 추정하기 위해 보간 기술을 사용 가장 널리 사용되는 보간 기법으로는 Nearest Neighbor, Bilinear, Bicubic  2) Learning-based method(학습 기반 방법)  딥 러닝을 사용하여 낮은 해상도의 이미지로부터 고해상도 이미지를 생성 학습 기반 방법은 대량의 데이터셋에서 낮은 해상도와 고해상도 이미지 간의 관계를 학습하여, 새로운 낮은 해상도 이미지에 적용 이미지의 복잡한 텍스처와 세부 사항을 더 잘 복원할 수 있으며, 보간 방법보다 더 높은 품질의 결과를 생성할 수..