4wk_Style Transfer

Style Transfer 

- Blends two images to create a new image that maintains the original content but with the style of the other.

두 이미지를 혼합하여 원본 내용을 유지하면서 다른 이미지의 스타일을 유지하는 새로운 이미지를 만듭니다.

 

•Content: Refers to the basic structure and main elements of an image, such as the shapes and positions of objects within a scene (i.e., subject matter of the image).

 

• Style: Encompasses the visual aesthetics or the artistic manner in which the content is expressed (i.e., textures, colors, brush strokes, and other artistic elements).

 

→ 스타일을 유지하면서 새로운 콘텐츠를 만든다.

---

Texture Synthesis

Goal: Generate textures that can be used to fill larger surfaces in a way that looks natural and continuou

목표: 보이는 방식으로 더 큰 표면을 채우는 데 사용할 수 있는 텍스처 생성 자연스럽고 지속적인

 

---

Gram Matrix

맵(feature maps)의 내적을 계산하여 이미지에서 각 위치에서 발생한 활성화 값을 집계하는 과정에 사용

 

• 특성 맵의 내적 계산: Gram Matrix를 계산하는 것은 특성 맵들의 내적을 계산하는 것으로, 이미지에서 각 위치에서 발생한 활성화 값을 묶어서 표현합니다 
• 스타일 전이(Style Transfer)에서의 활용: 스타일 전이 기법에서는 Gram Matrix를 사용하여 여러 레이어의 특성 맵을 함께 확인하며 이미지의 스타일을 추출합니다. 이는 컴퓨터 비전, 머신러닝, 딥러닝을 이용한 의료 영상 분석 등 다양한 분야에서 활용됩니다 

Gram Matrix의 중요성

• 이미지의 스타일 정보 추출: Gram Matrix는 이미지의 스타일 정보를 추출하는 데 중요한 도구로 사용됩니다. 특히, 스타일 전이와 같은 딥러닝 기법에서 중요한 역할을 합니다 

→ Gram Matrix는 딥러닝 기법 중 하나인 스타일 전이(Style Transfer)에서 주로 사용되며, 이미지의 스타일 정보를 추출하는 데 중요한 역할을 합니다. 이를 통해 다양한 이미지 처리 및 분석 작업에서 효과적인 결과를 도출할 수 있습니다

---

Gatys et al. (2016)

 

• 스타일 전이 알고리즘: Gatys et al.은 딥러닝을 사용하여 한 이미지의 스타일을 다른 이미지의 콘텐츠와 결합하는 방법을 제시했습니다. 이는 컨볼루션 신경망(Convolutional Neural Networks, CNNs)을 기반으로 하며, 이미지의 스타일 정보와 콘텐츠 정보를 분리하고 재조합하는 과정을 포함합니다 
• 예술적 스타일의 분리 및 재조합: 이 알고리즘은 자연 이미지의 콘텐츠와 스타일을 분리하고 재조합할 수 있으며, 이를 통해 사용자가 원하는 스타일로 이미지를 재창조할 수 있습니다 

---

Johnson et al. (2016)

• 실시간 스타일 전송(Style Transfer)과 초해상도(Super-Resolution)에 대한 연구

• Neural Style Transfer: Johnson et al.은 신경망을 사용하여 한 이미지의 스타일을 다른 이미지에 적용하는 Neural Style Transfer 기술을 개선했습니다. 이 기술은 예술 작품과 같은 스타일을 일반 사진에 적용할 수 있게 해줍니다 1.
• 실시간 처리와 초해상도: 이들의 연구는 "Perceptual Losses for Real-Time Style Transfer and Super-Resolution"에서 실시간으로 스타일 전송과 이미지의 해상도를 높이는 방법을 제안했습니다. 이 방법은 기존 방법보다 최대 3배 빠른 처리 속도를 달성했습니다

---

Maximum Mean Discrepancy (MMD) : 두 개의 샘플 집합 간의 차이를 측정하는데 사용 → 가설 기각 또는 선택하는데 사용

 

• MMD는 두 개의 샘플 집합 간의 차이를 측정하는 통계적 방법입니다.
• 주어진 두 샘플 집합이 서로 동일한 분포를 가지는지를 테스트하기 위해 사용됩니다.
• MMD는 샘플의 평균이 Reproducing Kernel Hilbert Space (RKHS)라는 특별한 공간에서 얼마나 다른지를 측정합니다.

• Popular test statistic for the two-sample testing (이 test를 통해 가설을 기각하거나 선택함)

• Measures the difference of sample mean in Reproducing Kernel Hilbert Space (RKHS) / 표본 평균의 차이를 측정

→ 주어진 두 개의 샘플 집합이 서로 동일한 분포를 가지는지 테스트 하기 위해 사용 

→ MMD : 샘플의 3평균이 RKHS에서 얼마나 다른지 측정 ( RKHS( Reproducing Kernel Hilbert Space )는 커널 함수를 사용하여 정의되는 특별한 공간으로, 이 공간에서의 두 샘플의 평균 차이를 계산하여 두 샘플 간의 차이를 측정)

 

---

VGG (Visual Geometry Group) : 이미지 인식 및 분류에 사용

• VGG는 합성곱 신경망(Convolutional Neural Network, CNN) 아키텍처 중 하나입니다.
• VGG는 영상 인식 및 분류에 사용되는 딥러닝 모델로, 이미지를 입력으로 받아 여러 계층의 합성곱과 풀링 계층을 거쳐 최종적으로 클래스를 예측합니다.
• VGG는 2014년에 발표되었으며, 매우 깊은 네트워크 구조와 작은 필터 크기를 사용하여 이미지 인식 분야에서 우수한 성능을 보였습니다.

“Human observers show a striking bias towards responding with the shape category (95.9% of correct decisions). This pattern is reversed for CNNs, which show a clear bias towards responding with the texture category (VGG-16: 17.2% shape vs. 82.8% texture; GoogLeNet: 31.2% vs. 68.8%; AlexNet: 42.9% vs. 57.1%; ResNet-50: 22.1% vs. 77.9%).”