2-1. Generative Models

Generative Models

 

1. 판별 모델 (Discriminative Models):
   • 판별 모델은 입력 데이터를 특정 클래스 또는 레이블로 분류하는 데 중점을 둡니다.
   • 입력 데이터와 해당 클래스 간의 관계를 학습하여, 새로운 입력 데이터가 주어졌을 때 어떤 클래스에 속하는지를 결정합니다.
   • 주어진 데이터의 특징을 기반으로 각 클래스를 구분하기 위한 경계를 학습합니다.
   • 예시로는 로지스틱 회귀, 의사결정 트리, 서포트 벡터 머신 등이 있습니다.
   • 판별 모델은 데이터의 분류 및 회귀와 같은 작업에 주로 사용됩니다.
2. 생성 모델 (Generative Models):
   • 생성 모델은 주어진 데이터의 분포를 학습하여 새로운 데이터를 생성하는 데 중점을 둡니다.
   • 데이터의 확률 분포를 학습하고, 이를 기반으로 새로운 데이터를 생성합니다.
   • 생성된 데이터는 원래 데이터와 유사한 특징을 가지며, 확률적으로 생성됩니다.
   • 주요한 응용 분야로는 이미지 생성, 음악 생성, 자연어 생성 등이 있습니다.
   • 대표적인 생성 모델로는 변이형 오토인코더(Variational Autoencoder), 적대적 생성 신경망(Generative Adversarial Networks, GANs) 등이 있습니다.

이렇게 판별 모델은 주어진 데이터의 특징을 기반으로 분류를 수행하고, 생성 모델은 데이터의 분포를 학습하여 새로운 데이터를 생성합니다.

 

 

가우스 혼합모형 Mixture of Gaussian 

Mixture of Gaussian은 데이터를 여러 개의 가우시안 분포로 모델링하는 방법입니다.

이 방법은 데이터가 하나의 단일한 분포로 설명되지 않는 복잡한 경우에 유용합니다.

예를 들어, 데이터가 하나의 가우시안 분포로 설명되기에는 너무 다양한 그룹으로 나뉘어 있거나, 여러 패턴이 혼합되어 있는 경우에 사용될 수 있습니다.

 

이 방법을 이해하기 위해서는 몇 가지 중요한 개념을 이해해야 합니다.

첫째, 가우시안 분포는 연속적인 확률 분포로서 주어진 데이터를 모델링하는 데 자주 사용됩니다.

둘째, Mixture of Gaussian은 여러 개의 가우시안 분포를 혼합하여 데이터의 전반적인 분포를 설명합니다.

각각의 가우시안 분포는 데이터의 서로 다른 부분을 잘 설명하며, 이들을 조합하여 데이터 전체를 모델링합니다.

 

이 방법은 데이터를 클러스터링하는 데 사용될 수도 있습니다. 예를 들어, 고객 데이터가 주어졌을 때, Mixture of Gaussian을 사용하여 서로 다른 고객 그룹을 식별할 수 있습니다. 각각의 가우시안 분포는 특정 고객 그룹에 대응되며, 이러한 그룹들의 혼합은 전체 고객 데이터를 설명합니다.

 

또한, Mixture of Gaussian은 이상 탐지에도 사용될 수 있습니다. 데이터의 이상점은 보통 다른 데이터와는 다른 분포를 보이는데, 이러한 이상점을 가우시안 혼합 모델로 감지할 수 있습니다.

 

이러한 방법을 이해하고 사용하기 위해서는 가우시안 분포와 확률론적인 개념에 대한 기본적인 이해가 필요합니다. 그러나 이러한 개념을 학습하고 익히면 다양한 데이터 분석 및 머신러닝 문제에 유용하게 활용할 수 있습니다.

 

1) Parameter 추정을 위한 Expectation Maximization 알고리즘

Expectation-Maximization(EM) 알고리즘은 통계적 모델에서 숨겨진 변수가 있거나 불완전한 데이터가 있는 경우에 모델의 파라미터를 추정하기 위해 사용됩니다. EM 알고리즘은 모수 추정을 위한 반복적인 최적화 기법으로, 주어진 데이터를 통해 모델을 적합시키고 파라미터를 조정하여 데이터를 가장 잘 설명하는 모델을 찾습니다.

EM 알고리즘은 두 단계로 구성됩니다.

1. Expectation Step (E Step):
   • 주어진 현재 모델 파라미터를 사용하여 각 데이터 포인트에 대한 숨겨진 변수의 기대값(Expectation)을 추정합니다.
   • 숨겨진 변수는 일반적으로 누락된 데이터 또는 클러스터 소속을 나타내는 것과 같이 모델에 포함되어 있지만 관측되지 않는 변수입니다.
2. Maximization Step (M Step):
   • E 단계에서 추정된 숨겨진 변수의 기대값을 사용하여 모델의 파라미터를 업데이트합니다.
   • 이 단계에서는 완전한 데이터와 기대값을 모두 사용하여 모델 파라미터의 최대 가능도 추정치를 찾습니다.

이러한 단계를 번갈아가며 반복하면서 EM 알고리즘은 모델의 파라미터를 조정하여 데이터를 가장 잘 설명하는 모델을 찾습니다. 이 과정은 보통 로그-우도 함수의 값이 수렴할 때까지 계속됩니다.

EM 알고리즘은 클러스터링, 가우시안 혼합 모델, 숨겨진 마르코프 모델(HMM) 및 다양한 통계적 모델의 파라미터 추정에 사용됩니다.

 

---

expectation 단계에서 xi가 k번째 가우시안의 멤버가 될 확률

 

가우시안 혼합 모델(Gaussian Mixture Model, GMM)은 여러 개의 가우시안 분포가 섞여 있는 모델입니다. 이 모델에서 각 데이터 포인트 xi가 특정한 가우시안 분포에 속할 확률을 예측하는 것이 중요합니다.

 

이를 수식으로 나타내면 다음과 같습니다. 여기서 k는 가우시안 분포의 인덱스를 나타냅니다.

P(xi가 k번째 가우시안에 속할 확률) = P(z = k | xi)

여기서 z는 숨겨진 변수(hidden variable)로, xi가 어떤 가우시안 분포에 속하는지를 나타냅니다. 이를 조건부 확률로 나타내면 다음과 같습니다.

 

P(z = k | xi) = (P(xi | k) * P(k)) / P(xi)

여기서 P(xi | k)는 k번째 가우시안 분포의 확률 밀도 함수(Probability Density Function, PDF)입니다. P(k)는 k번째 가우시안의 사전 확률(Prior Probability)로, xi가 어떤 가우시안에 속할 확률을 나타냅니다. P(xi)는 모든 가우시안 분포에 대한 주어진 데이터 xi의 합산된 확률입니다.

 

즉, expectation 단계에서는 xi가 각 가우시안 분포에 속할 확률을 예측하고, 그에 따라 가중 평균을 계산하여 해당 데이터의 가우시안 혼합을 추정합니다. 이를 통해 xi가 각 가우시안 분포에 속할 확률을 구하는 것이 expectation 단계의 주요 목표입니다.