2-3. Variational Autoencoder (VAE)

변분 자동 인코더 (Variational Autoencoder, VAE)

 

VAE는 딥러닝 모델 중 하나로, 데이터를 어떻게 생성할 수 있는지를 배우는 모델입니다. 이 모델은 데이터에서 중요한 특징을 추출하고, 이를 바탕으로 새로운 데이터를 생성할 수 있습니다.

• 인코더(Encoder): 이 부분은 입력 데이터(예: 사진)를 받아서 그 데이터의 핵심을 나타내는 숫자들의 집합(잠재 벡터)으로 바꿔 줍니다. 잠재 벡터는 입력 데이터를 대표하는 중요한 정보만을 포함하고, 이는 일종의 압축된 형태로 볼 수 있습니다.
• 디코더(Decoder): 인코더에서 생성된 잠재 벡터를 다시 원래의 데이터 형태(예: 사진)로 복원합니다. 이 과정을 통해 모델은 데이터를 어떻게 생성해야 하는지를 배웁니다.

변분 추론 (Variational Inference)

변분 추론은 복잡한 확률 모델에서 어떤 사건이 일어날 확률을 계산하는 방법입니다. 이론적으로 계산하기 어려운 경우, 간단한 방법으로 근사하여 계산합니다.

• 후방 확률(Posterior probability): 데이터가 주어졌을 때, 특정 사건(잠재 변수)이 발생할 확률입니다. 예를 들어, 사진에 고양이가 있을 확률을 계산하는 것을 생각해 볼 수 있습니다.
• 근사(Approximation): 실제로 이 확률을 계산하기는 매우 어렵습니다. 그래서 우리는 이를 간단한 형태로 근사하여 계산합니다. 이 때 사용되는 간단한 형태의 예는 정규 분포입니다.

변분 하한 (ELBO, Evidence Lower Bound)

ELBO는 근사한 확률이 실제 확률과 얼마나 가까운지를 측정하는 지표입니다. 이 값을 최대화하는 것이 변분 추론의 목표입니다.

• KL 발산(Kullback-Leibler Divergence): 이는 두 확률 분포 사이의 차이를 측정하는 방법입니다. 변분 추론에서는 근사 분포와 실제 분포 사이의 차이를 이 값으로 측정합니다.

 

• 재파라미터화 트릭(Reparameterization Trick): VAE의 학습을 돕기 위해 사용되는 기술입니다. 잠재 변수를 생성할 때 사용되며, 더욱 효율적인 학습을 가능하게 합니다.

이 트릭의 중요성:

1. 미분 가능성: 역전파를 사용하여 VAE 모델 전체를 효율적으로 학습할 수 있게 합니다.
2. 변동성 감소: 𝜖ϵ의 사용은 샘플링 과정에서 발생할 수 있는 변동을 줄여, 학습 과정을 안정화시키고 성능을 개선합니다.

재파라미터화 트릭은 VAE 뿐만 아니라 다양한 확률적 모델에서 중요한 학습 도구로 사용됩니다. 이 트릭을 사용함으로써, 복잡한 데이터의 내재된 구조를 모델링하고 새로운 데이터를 생성하는 데 필수적인 역할을 합니다.

 

 

 

 

간단히 말해서, VAE와 변분 추론은 데이터의 중요한 특징을 추출하고 이를 바탕으로 새로운 데이터를 생성하거나 사건의 확률을 추정하는데 사용됩니다. 이 기술들은 인공지능이 실제 세계의 복잡함을 이해하고, 새로운 정보를 생성하는데 큰 도움을 줍니다.