Deep Learning

Deep learning_Summary

뉴욕킴 2024. 6. 8. 12:51

Part 5-1,2

 

 

1. 딥러닝이란 무엇인가? 

딥러닝은 신경망에서 히든 레이어를 2개 이상 사용하는 것으로, 현실적으로는 많은 레이어를 사용합니다.

 

2. 딥러닝이 현재 각광받고 있는 이유를 설명하시오. 

딥러닝이 각광받는 이유는 하드웨어(GPU, 데이터의 양), 소프트웨어(Vanishing gradient 문제 해결: ReLU, Regularization: Dropout, Optimization: Adam, Architecture: CNN, RNN) 등이 발전했기 때문입니다.

 

3. 다음 중 CNN의 구성 요소가 아닌 것은? 

a. Convolutional Layer
b. MaxPooling Layer
c. Fully Connected Layer
d. Recurrence Layer

 

4. Convolutional Neural Networks의 주요 동작 원리에 대해 설명하시오.

Convolutional Neural Networks는 이미지와 같이 그리드 형태의 데이터를 처리하는 데 특화된 신경망입니다. 주요 동작 원리는 Convolutional Operation을 통해 입력 데이터의 지역적 특성을 추출하는 것입니다.

 

5. 다음은 Convolutional Operation의 예시이다. 빈칸을 채우시오. 

 

Input data (4*4):
1 1 0 1  
0 1 0 0  
0 1 1 0  
1 0 1 0  

Filter (2*2):
1 0  
0 1  

Output (3*3):
? ? ?  
? ? ?  
? ? ?

 

답

Output (3*3):
2 1 0  
1 2 0  
0 2 1

 

 

 

6. Convolutional Operation의 특징인 Sparse Connection과 Parameter Sharing에 대해 설명하시오. 

Sparse Connection은 필터가 입력 데이터의 일부분에만 연결되는 것을 의미하며, Parameter Sharing은 동일한 필터를 모든 위치에서 사용하는 것을 의미합니다. 이로 인해 메모리와 계산 효율성이 높아집니다.

 

7. 다음 중 CNN의 동작 원리와 직접적으로 관련이 없는 것은? 

a. Sparse Interactions
b. Parameter Sharing
c. Recurrent Connections
d. Pooling

 

8. Pooling Layer의 역할에 대해 설명하시오. 

Pooling Layer는 비선형 활성화 값을 요약 통계치로 대체하여 출력의 차원을 줄이고 계산 효율성을 높입니다. 주로 Max Pooling과 Average Pooling이 사용됩니다.

 

9. 다음 중 Pooling의 종류가 아닌 것은? 

a. Max Pooling
b. Average Pooling
c. Min Pooling
d. L2 Pooling

 

10. Zero-Padding의 목적과 효과를 설명하시오.

 

 

Zero-Padding은 입력 데이터의 가장자리에 0을 추가하여 출력의 크기를 조절하고, 필터가 가장자리를 벗어나지 않게 합니다. 이를 통해 출력의 차원을 유지하거나 조정할 수 있습니다.

 

 

11. 다음 중 2012년에 발표된 CNN 구조는? 

a. LeNet
b. AlexNet
c. VGGNet
d. ResNet

 

12. Inception Module의 주요 특징을 설명하시오. 

Inception Module은 다양한 크기의 필터를 병행하여 사용하여 더 풍부한 표현을 추출하며, 1x1 Convolution을 통해 차원을 줄이는 Bottleneck Layer를 사용합니다.

 

13. Residual Network에서 사용하는 Skip Connection의 역할은 무엇인가? 

Skip Connection은 이전 층의 출력을 다음 층에 직접 더해주는 방식으로, Gradient Vanishing 문제를 완화하고 학습을 촉진합니다.

 

14. DenseNet의 주요 특징을 설명하시오. 

DenseNet은 모든 레이어가 이전 모든 레이어의 출력을 입력으로 받는 구조로, Feature Reuse를 촉진하고 Gradient Flow를 원활하게 합니다.

 

15. 다음 CNN 구조 중 Bottleneck Layer를 사용하는 것은? 

a. AlexNet
b. VGGNet
c. GoogleNet
d. ResNet

 

16. 계산문제 ★

풀이: 

 

Part 5-3

 

  1. CNN은 주로 이미지 데이터를 처리하기 위해 설계되었다.
    • 참 / 거짓
  2. MaxPooling2D 레이어는 특징 맵을 평평하게 펴서 1D 벡터로 변환한다.
    • 참/ 거짓 (Flatten 레이어가 특징 맵을 평평하게 펴서 1D 벡터로 변환합니다.)
  3. Functional API를 사용하면 다양한 연결 형태를 표현할 수 있다.
    • 참 / 거짓
  4. AlexNet은 2012년에 발표된 CNN 구조이다.
    • 참 / 거짓
  5. YOLO는 객체 탐지를 위한 단일 단계의 회귀 문제로 간주된다.
    • 참 / 거짓
  6. VGGNet은 1998년에 발표된 CNN 구조이다.
    • 거짓 (VGGNet은 2014년에 발표되었습니다.)
  7. ResNet은 스킵 연결(skip connection)을 사용하는 CNN 구조이다.
    • 참 / 거짓
  1. CNN의 기본 구조와 작동 원리를 설명하시오.
    • CNN(Convolutional Neural Network)은 이미지나 시계열 데이터와 같은 공간적 데이터에서 특징을 추출하기 위해 설계된 신경망입니다. CNN의 기본 구조는 다음과 같습니다:
      1. Convolutional Layer: 입력 이미지에 커널을 적용하여 특징 맵을 생성합니다.
      2. Activation Function (ReLU): 비선형성을 추가합니다.
      3. Pooling Layer: 공간적 차원을 축소하여 계산량을 줄이고 특징을 강화합니다.
      4. Flatten Layer: 특징 맵을 1D 벡터로 변환합니다.
      5. Fully Connected Layer: 마지막으로 클래스 분류를 수행합니다.
  2. Keras Sequential API와 Functional API의 차이점을 설명하시오.

Keras Sequential API: 단순히 레이어를 순차적으로 쌓는 방법으로, 매우 직관적이고 간단한 모델을 만들 때 유용합니다. 예를 들어, 다음과 같이 사용됩니다

model = Sequential()
model.add(Conv2D(...))
model.add(MaxPooling2D(...))
model.add(Flatten())
model.add(Dense(...))

 

Keras Functional API: 복잡한 모델을 만들 때 사용되며, 여러 입력과 출력을 가진 모델이나 다양한 연결 형태를 표현할 수 있습니다. 예를 들어, 다음과 같이 사용됩니다

inputs = Input(shape=(28, 28, 1))
x = Conv2D(...)(inputs)
x = MaxPooling2D(...)(x)
x = Flatten()(x)
outputs = Dense(...)(x)
model = Model(inputs, outputs)

 

 

3. Convolutional Layer에서 사용하는 커널의 역할을 설명하시오.

  • Convolutional Layer에서 사용하는 커널(또는 필터)은 입력 이미지에서 특징을 추출하는 역할을 합니다. 커널은 작은 행렬로, 입력 이미지에 슬라이딩 윈도우 방식으로 적용되어 지역적인 패턴(에지, 코너 등)을 감지합니다. 각 커널은 특정 특징을 학습하며, 여러 개의 커널을 사용하여 다양한 특징 맵을 생성합니다.

 

4. ResNet에서 사용되는 Skip Connection의 목적을 설명하시오.

  • ResNet(Residual Network)에서 사용되는 Skip Connection의 목적은 신경망이 깊어질수록 발생할 수 있는 기울기 소실(vanishing gradient) 문제를 해결하는 것입니다. Skip Connection은 입력을 출력에 직접 더해주는 방식으로, 기울기가 역전파될 때 더 쉽게 전달되도록 도와줍니다. 이는 네트워크가 더 깊어져도 성능이 저하되지 않게 하며, 학습이 더 안정적으로 이루어지도록 합니다.

5. YOLO의 작동 원리를 간단히 설명하시오.

  • YOLO(You Only Look Once)는 객체 탐지를 단일 단계의 회귀 문제로 간주하여 매우 빠르게 객체를 탐지하는 방법입니다. YOLO는 입력 이미지를 SxS 그리드로 나누고, 각 그리드 셀이 B개의 바운딩 박스와 각 바운딩 박스의 신뢰도를 예측합니다. 또한, 각 그리드 셀은 C개의 클래스 확률을 예측합니다. 최종적으로 예측된 바운딩 박스와 클래스 확률을 조합하여 객체를 탐지합니다.
  1. Keras Sequential API를 사용하여 CNN 모델을 구축하시오. MNIST 데이터를 사용하며, 2개의 Convolutional Layer와 1개의 Fully Connected Layer를 포함하시오.
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Conv2D, MaxPooling2D, Flatten, Dense
from tensorflow.keras.datasets import mnist
from tensorflow.keras.utils import to_categorical

# 데이터 로드 및 전처리
(x_train, y_train), (x_test, y_test) = mnist.load_data()
x_train = x_train.reshape(-1, 28, 28, 1).astype('float32') / 255
x_test = x_test.reshape(-1, 28, 28, 1).astype('float32') / 255
y_train = to_categorical(y_train, 10)
y_test = to_categorical(y_test, 10)

# 모델 구축
model = Sequential([
    Conv2D(32, (3, 3), activation='relu', input_shape=(28, 28, 1)),
    MaxPooling2D((2, 2)),
    Conv2D(64, (3, 3), activation='relu'),
    MaxPooling2D((2, 2)),
    Flatten(),
    Dense(128, activation='relu'),
    Dense(10, activation='softmax')
])

model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])
model.fit(x_train, y_train, epochs=10, batch_size=32, validation_data=(x_test, y_test))

 

 

2. ResNet의 Skip Connection이 기울기 소실 문제를 해결하는 방법을 수식으로 설명하시오.

 

  1. CNN을 사용하여 고양이와 개를 분류하는 모델을 구축하시오. 데이터셋은 CIFAR-10을 사용하며, Functional API를 이용하시오.
from tensorflow.keras.models import Model
from tensorflow.keras.layers import Input, Conv2D, MaxPooling2D, Flatten, Dense
from tensorflow.keras.datasets import cifar10
from tensorflow.keras.utils import to_categorical

# 데이터 로드 및 전처리
(x_train, y_train), (x_test, y_test) = cifar10.load_data()
x_train = x_train.astype('float32') / 255
x_test = x_test.astype('float32') / 255
y_train = to_categorical(y_train, 10)
y_test = to_categorical(y_test, 10)

# 모델 구축
inputs = Input(shape=(32, 32, 3))
x = Conv2D(32, (3, 3), activation='relu')(inputs)
x = MaxPooling2D((2, 2))(x)
x = Conv2D(64, (3, 3), activation='relu')(x)
x = MaxPooling2D((2, 2))(x)
x = Flatten()(x)
x = Dense(128, activation='relu')(x)
outputs = Dense(10, activation='softmax')(x)

model = Model(inputs, outputs)
model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])
model.fit(x_train, y_train, epochs=10, batch_size=32, validation_data=(x_test, y_test))

 

2. Object Detection의 두 단계 탐지기(two-stage detector)와 단일 단계 탐지기(single-stage detector)의 차이점을 설명하시오.

  • Two-Stage Detector: 객체 탐지를 위한 두 단계 접근 방식입니다. 첫 번째 단계에서는 객체가 있을 가능성이 높은 영역을 제안(region proposals)하고, 두 번째 단계에서는 이 제안된 영역을 기반으로 객체를 분류하고 경계 상자를 회귀합니다. 예시로 R-CNN, Fast R-CNN, Faster R-CNN이 있습니다.
    • 장점: 높은 정확도를 제공합니다.
    • 단점: 연산량이 많아 느릴 수 있습니다.
  • Single-Stage Detector: 입력 이미지에서 직접 객체 분류와 경계 상자 회귀를 동시에 수행합니다. 두 단계 탐지기에 비해 속도가 빠르지만, 일반적으로 정확도는 낮을 수 있습니다. 예시로 YOLO, SSD가 있습니다.

Part 6

  1. CNN은 주로 이미지 데이터를 처리하기 위해 설계되었다.
    • 참 / 거짓
  2. MaxPooling2D 레이어는 특징 맵을 평평하게 펴서 1D 벡터로 변환한다.
    • 거짓 (Flatten 레이어가 특징 맵을 평평하게 펴서 1D 벡터로 변환합니다.)
  3. Functional API를 사용하면 다양한 연결 형태를 표현할 수 있다.
    • 참 / 거짓
  4. AlexNet은 2012년에 발표된 CNN 구조이다.
    • 참 / 거짓
  5. YOLO는 객체 탐지를 위한 단일 단계의 회귀 문제로 간주된다.
    • 참 / 거짓
  6. VGGNet은 1998년에 발표된 CNN 구조이다.
    • 거짓 (VGGNet은 2014년에 발표되었습니다.)
  7. ResNet은 스킵 연결(skip connection)을 사용하는 CNN 구조이다.
    • 참 / 거짓
  8. RNN은 주로 순차 데이터를 처리하기 위해 설계되었다.
    • 참 / 거짓
  9. LSTM은 RNN의 단점을 보완하기 위해 설계되었다.
    • 참 / 거짓
  10. Transformer 모델은 순차적으로 데이터를 처리한다.
    • 거짓 (Transformer는 병렬적으로 데이터를 처리합니다.)

 

  1. CNN의 기본 구조와 작동 원리를 설명하시오.
    • CNN(Convolutional Neural Network)은 이미지나 시계열 데이터와 같은 공간적 데이터에서 특징을 추출하기 위해 설계된 신경망입니다. CNN의 기본 구조는 다음과 같습니다:
      1. Convolutional Layer: 입력 이미지에 커널을 적용하여 특징 맵을 생성합니다.
      2. Activation Function (ReLU): 비선형성을 추가합니다.
      3. Pooling Layer: 공간적 차원을 축소하여 계산량을 줄이고 특징을 강화합니다.
      4. Flatten Layer: 특징 맵을 1D 벡터로 변환합니다.
      5. Fully Connected Layer: 마지막으로 클래스 분류를 수행합니다.
  2. Keras Sequential API와 Functional API의 차이점을 설명하시오.
    • Keras Sequential API: 단순히 레이어를 순차적으로 쌓는 방법으로, 매우 직관적이고 간단한 모델을 만들 때 유용합니다. 예를 들어, 다음과 같이 사용됩니다:
      python
      코드 복사
      model = Sequential() model.add(Conv2D(...)) model.add(MaxPooling2D(...)) model.add(Flatten()) model.add(Dense(...))
    • Keras Functional API: 복잡한 모델을 만들 때 사용되며, 여러 입력과 출력을 가진 모델이나 다양한 연결 형태를 표현할 수 있습니다. 예를 들어, 다음과 같이 사용됩니다:
      python
      코드 복사
      inputs = Input(shape=(28, 28, 1)) x = Conv2D(...)(inputs) x = MaxPooling2D(...)(x) x = Flatten()(x) outputs = Dense(...)(x) model = Model(inputs, outputs)
  3. RNN의 기본 개념과 주요 용도를 설명하시오.
    • RNN(Recurrent Neural Network)은 순차 데이터(시간 시리즈 데이터, 텍스트 등)를 처리하기 위해 설계된 신경망입니다. RNN은 이전의 출력이 다음 입력으로 다시 피드백되어 시간에 따라 변화하는 데이터를 모델링할 수 있습니다. 주요 용도로는 시계열 예측, 언어 모델링, 기계 번역 등이 있습니다.
  4. LSTM의 주요 구성 요소와 그 역할을 설명하시오.
    • LSTM(Long Short-Term Memory)은 RNN의 단점을 보완하기 위해 설계된 신경망입니다. LSTM은 장기 의존성을 기억하고 중요한 정보를 유지하기 위해 다음과 같은 주요 구성 요소를 가지고 있습니다:
      1. Cell State: 장기 메모리를 저장합니다.
      2. Forget Gate: 이전의 메모리를 얼마나 유지할지 결정합니다.
      3. Input Gate: 새로운 정보를 얼마나 받아들일지 결정합니다.
      4. Output Gate: 다음 상태로 얼마나 많은 정보를 전달할지 결정합니다.
  5. Transformer 모델의 Self-Attention 메커니즘을 설명하시오.
    • Transformer 모델의 Self-Attention 메커니즘은 입력 시퀀스의 모든 위치에서 다른 모든 위치와의 관계를 계산하여 중요한 정보를 강조하는 방법입니다. 이를 통해 긴 시퀀스에서도 중요한 정보를 효과적으로 처리할 수 있습니다. Self-Attention은 Query, Key, Value라는 세 가지 요소를 사용하여 각 단어의 중요도를 계산합니다.

1. 다음 중 CNN의 구성 요소가 아닌 것은?

a. Convolutional Layer

b. MaxPooling Layer

c. Fully Connected Layer

d. Recurrence Layer

 

2. RNN의 단점을 보완하기 위해 설계된 신경망은 무엇인가?

a. CNN

b. LSTM

c. GAN

d. DNN

 

3. Transformer 모델에서 Self-Attention 메커니즘이 사용하는 세 가지 요소는 무엇인가?

a. Query, Key, Value

b. Input, Output, Hidden

c. Convolution, Pooling, Flatten

d. Encoder, Decoder, Attention

 

4. 다음 중 객체 탐지를 위한 단일 단계의 회귀 문제로 간주되는 모델은?

a. R-CNN

b. Fast R-CNN

c. Faster R-CNN

d. YOLO

 

5. BERT 모델의 주요 특징이 아닌 것은?

a. Bidirectional

b. Transformer 기반

c. 단일 레이어 구조

d. Pre-training과 Fine-tuning

 

  1. RNN의 Backpropagation Through Time (BPTT) 알고리즘에 대해 설명하시오.
    • BPTT(Backpropagation Through Time)는 RNN의 학습을 위해 사용되는 알고리즘입니다. RNN은 시간에 따라 순차적으로 데이터를 처리하기 때문에, 각 시간 단계에서 발생한 오류를 이전 시간 단계로 전파하여 가중치를 업데이트합니다. BPTT는 기본적으로 일반적인 Backpropagation 알고리즘을 시간 차원으로 확장한 것입니다. 이를 통해 RNN은 시퀀스 전체에 걸친 오류를 효과적으로 학습할 수 있습니다.
  2. LSTM의 내부 구조와 각 게이트의 역할을 설명하시오.
    • LSTM(Long Short-Term Memory)의 내부 구조는 다음과 같은 주요 구성 요소로 이루어져 있습니다:
      • Cell State: 장기 메모리를 저장하는 경로로, 정보를 그대로 전달하거나 수정합니다.
      • Forget Gate: 이전 시간 단계의 메모리를 얼마나 유지할지 결정하는 게이트로, 값이 1이면 완전히 기억하고 0이면 완전히 잊습니다.
      • Input Gate: 새로운 정보를 얼마나 받아들일지 결정하는 게이트로, 현재 입력과 이전 상태를 기반으로 새로운 정보를 추가합니다.
      • Output Gate: 업데이트된 컨텍스트를 다음 숨겨진 상태로 얼마나 전달할지 결정하는 게이트로, 현재 상태와 입력을 기반으로 다음 상태를 계산합니다.
  3. Transformer 모델에서 Multi-Head Attention의 장점을 설명하시오.
    • Multi-Head Attention은 Self-Attention을 여러 번 병렬로 수행하여 각 헤드에서 서로 다른 부분의 정보를 캡처합니다. 이를 통해 모델은 다양한 위치에서 중요한 정보를 동시에 학습할 수 있으며, 다양한 표현 공간에서 정보를 결합하여 더 풍부한 표현을 생성합니다. 이로 인해 모델의 성능이 향상되고, 특히 긴 문맥을 효과적으로 처리할 수 있습니다.
  4. YOLO와 Faster R-CNN의 차이점을 설명하시오.
    • YOLO(You Only Look Once)와 Faster R-CNN은 모두 객체 탐지 알고리즘이지만 접근 방식이 다릅니다:
      • YOLO: 입력 이미지를 S*S 그리드로 나누고 각 그리드 셀이 B개의 바운딩 박스와 클래스 확률을 예측합니다. 단일 신경망으로 객체 탐지를 수행하며, 매우 빠르지만 작은 객체 탐지에 약할 수 있습니다.
      • Faster R-CNN: Region Proposal Network(RPN)을 사용하여 객체가 있을 만한 영역을 제안하고, 제안된 영역에서 CNN을 통해 특징을 추출한 후 객체를 분류하고 바운딩 박스를 조정합니다. 더 높은 정확도를 가지지만 YOLO보다 속도가 느립니다.

 

Part 7 

 

  1. Undercomplete Autoencoders는 입력 데이터를 복원하는 것보다 주요 특징을 추출하는데 더 중점을 둔다.
    • 참 / 거짓
  2. Denoising Autoencoders는 입력 데이터에 노이즈를 추가하여 모델을 더욱 강건하게 만든다.
    • 참 / 거짓
  3. Convolutional Autoencoders는 주로 텍스트 데이터를 처리하기 위해 설계되었다.
    • 거짓 (Convolutional Autoencoders는 주로 이미지 데이터를 처리하기 위해 설계되었습니다.)
  4. Variational Autoencoders는 생성 모델의 한 종류로, 입력 데이터의 분포를 학습한다.
    • 참 / 거짓
  5. Stacked Autoencoders는 심층 신경망과 유사한 이점을 가진다.
    • 참 / 거짓
  6. Autoencoders는 주로 분류 문제를 해결하기 위해 사용된다.
    • 거짓 (Autoencoders는 주로 데이터의 특징 추출, 노이즈 제거, 데이터 복원 등에 사용됩니다.)
  7. Transpose Convolution은 Convolution 연산을 역으로 수행하여 이미지를 복원하는데 사용된다.
    • 참 / 거짓
  8. Denoising Autoencoders는 입력 데이터의 손실된 부분을 복원할 수 있다.
    • 참 / 거짓
  9. Variational Autoencoders는 입력 데이터의 분포를 근사하기 위해 확률적 접근을 사용한다.
    • 참 / 거짓
  10. Autoencoders는 일반적으로 데이터의 압축과 차원 축소를 위해 사용된다.
    • 참 / 거짓

 

  1. Undercomplete Autoencoders의 주요 목적은 무엇인가?
    • Undercomplete Autoencoders의 주요 목적은 입력 데이터의 주요 특징을 추출하여 잠재 공간(latent space)에서 압축된 표현을 생성하는 것입니다. 이 모델은 입력 데이터 자체를 복원하는 것보다 중요한 특징을 추출하는데 중점을 둡니다.
  2. Autoencoders가 주로 사용되는 두 가지 용도를 설명하시오.
    • 특징 추출(Feature Extraction): Autoencoders는 입력 데이터의 중요한 특징을 추출하여 고차원 데이터를 저차원으로 압축할 수 있습니다. 이는 데이터 시각화나 차원 축소와 같은 작업에 유용합니다.
    • 노벨티 탐지(Novelty Detection): Autoencoders는 훈련되지 않은 패턴을 감지하는 데 사용할 수 있습니다. 입력 데이터가 훈련 데이터와 다를 경우, Autoencoders는 이를 잘 복원하지 못하고 높은 재구성 오류를 보이게 됩니다.
  3. Denoising Autoencoders의 역할과 이점에 대해 설명하시오.
    • Denoising Autoencoders는 입력 데이터에 노이즈를 추가한 후 이를 복원하는 모델입니다. 이 모델은 노이즈가 있는 데이터에서도 원래의 깨끗한 데이터를 복원할 수 있도록 학습합니다. 이를 통해 모델의 강건성을 높이고, 데이터의 노이즈에 강하게 만들어 실제 응용에서 더 좋은 성능을 발휘할 수 있습니다.
  4. Convolutional Autoencoders와 전통적인 Autoencoders의 차이점을 설명하시오.
    • Convolutional Autoencoders(CAE)는 이미지와 같은 2D 데이터를 처리하기 위해 설계된 Autoencoders의 변형입니다. CAE는 Convolutional Layer를 사용하여 특징을 추출하고, Transpose Convolution이나 Unpooling을 사용하여 이미지를 복원합니다. 반면, 전통적인 Autoencoders는 주로 Fully Connected Layer를 사용하여 입력 데이터를 압축하고 복원합니다.
  5. Variational Autoencoders(VAE)의 기본 개념과 그 장점을 설명하시오.
    • Variational Autoencoders(VAE)는 생성 모델의 일종으로, 입력 데이터의 분포를 학습하여 새로운 데이터를 생성할 수 있습니다. VAE는 입력 데이터를 잠재 공간에 매핑하고, 이 잠재 공간에서 샘플링하여 새로운 데이터를 생성합니다. VAE의 장점은 데이터의 분포를 학습하여, 학습된 분포에서 새로운 데이터를 생성할 수 있다는 것입니다.

1. Autoencoders의 주요 용도가 아닌 것은?

a. 데이터 복원

b. 특징 추출

c. 데이터 분류

d. 노이즈 제거

 

2. Denoising Autoencoders에서 입력 데이터에 추가되는 것은 무엇인가?

a. 라벨

b. 노이즈

c. 필터

d. 클래스 확률

 

3. Variational Autoencoders는 어떤 종류의 모델인가?

a. 판별 모델

b. 생성 모델

c. 회귀 모델

d. 군집 모델

 

4. Convolutional Autoencoders에서 이미지 복원에 사용되는 방법은?

a. MaxPooling

b. Transpose Convolution

c. Fully Connected Layer

d. Softmax

 

5. Stacked Autoencoders의 이점이 아닌 것은?

a. 심층 신경망과 유사한 이점

b. 데이터의 특징 추출

c. 데이터의 분류 정확도 향상

d. 노이즈에 대한 강건성

 

  1. Denoising Autoencoders의 작동 원리와 그 장점에 대해 설명하시오.
    • Denoising Autoencoders는 입력 데이터에 노이즈를 추가하여 이를 복원하는 방식으로 학습합니다. 입력 데이터 xx에 노이즈 nn을 더해 노이즈가 추가된 데이터 x~\tilde{x}를 만들고, 모델은 이를 원래의 데이터 xx로 복원하도록 학습합니다. 이를 통해 모델은 노이즈가 포함된 데이터에서도 원본 데이터를 복원하는 능력을 가지게 되어, 데이터의 노이즈에 강건한 모델이 됩니다. 장점으로는 데이터의 노이즈를 제거하고, 원본 데이터의 중요한 특징을 학습할 수 있다는 점이 있습니다.
  2. Variational Autoencoders(VAE)의 내부 구조와 작동 방식을 설명하시오.
    • VAE는 인코더(encoder)와 디코더(decoder)로 구성되며, 입력 데이터를 잠재 공간에 매핑하고, 이 잠재 공간에서 샘플링하여 새로운 데이터를 생성합니다. 인코더는 입력 데이터 xx를 잠재 변수 zz의 분포 q(z∣x)q(z|x)로 변환하고, 디코더는 이 잠재 변수 zz를 다시 원본 데이터 x′x'로 복원합니다. VAE는 입력 데이터의 분포를 학습하여, 새로운 데이터를 생성할 수 있는 능력을 가집니다.
  3. Convolutional Autoencoders의 구성 요소와 이미지 데이터를 처리하는 과정을 설명하시오.
    • Convolutional Autoencoders(CAE)는 Convolutional Layer와 Transpose Convolution Layer로 구성됩니다. 인코더는 Convolutional Layer를 통해 입력 이미지의 중요한 특징을 추출하고, 이를 잠재 공간으로 압축합니다. 디코더는 Transpose Convolution Layer를 통해 압축된 잠재 공간의 정보를 다시 원본 이미지 크기로 복원합니다. 이 과정에서 이미지의 중요한 특징을 유지하면서, 데이터를 압축하고 복원할 수 있습니다.
  4. Stacked Autoencoders의 작동 원리와 그 이점에 대해 설명하시오.
    • Stacked Autoencoders는 여러 개의 Autoencoders를 층층이 쌓아 심층 신경망을 구성한 것입니다. 각 Autoencoder는 이전 층의 출력을 입력으로 받아 학습하며, 이를 통해 데이터의 중요한 특징을 단계적으로 추출합니다. 이점으로는 심층 신경망과 유사한 이점을 가지며, 데이터의 복잡한 패턴을 효과적으로 학습할 수 있다는 점이 있습니다. 또한, 사전 훈련을 통해 초기 가중치를 설정함으로써 학습 속도와 성능을 향상시킬 수 있습니다.

 

Part 8

 

  1. Stable Diffusion-based Image Generation은 2016년에 등장한 Generative Model 기술이다.
    • 거짓 (Stable Diffusion은 2022년에 등장했습니다.)
  2. Explainable AI는 딥러닝 모델의 투명성과 해석 가능성을 높이는 것을 목표로 한다.
    • 참 / 거짓
  3. Semi-Supervised Learning에서는 전부 라벨이 있는 데이터를 사용한다.
    • 거짓 (Semi-Supervised Learning에서는 일부 라벨이 있는 데이터와 많은 양의 라벨이 없는 데이터를 사용합니다.)
  4. Self-Supervised Learning은 사전 훈련된 모델을 사용하여 다운스트림 작업을 수행한다.
    • 참 / 거짓
  5. Multimodality는 여러 종류의 데이터를 통합하여 학습하는 방법론이다.
    • 참 / 거짓
  6. Domain Adaptation은 훈련 데이터와 테스트 데이터가 같은 도메인일 때 필요하다.
    • 거짓 (Domain Adaptation은 훈련 데이터와 테스트 데이터의 도메인이 다를 때 필요합니다.)
  7. Contrastive Learning은 입력 데이터 사이의 유사도를 학습한다.
    • 참 / 거짓
  8. Graph Convolutional Neural Networks는 데이터들 사이의 관계를 학습한다.
    • 참 / 거짓
  9. Knowledge Distillation은 모델의 성능을 향상시키기 위해 모델의 크기를 증가시키는 기술이다.
    • 거짓 (Knowledge Distillation은 큰 모델의 지식을 작은 모델에 전달하여 모델을 경량화하는 기술입니다.)
  10. RNN은 시계열 데이터와 같은 순차적 데이터를 처리하는 데 적합하다.
    • 참 / 거짓

 

  1. Generative Models의 최근 발전에 대해 설명하시오.
    • Generative Models의 최근 발전으로는 AlphaGo의 강화학습, Stable Diffusion을 통한 이미지 생성, 그리고 Transformer 기반의 대규모 언어 모델(LLM) 등이 있습니다. 이러한 기술들은 각각 게임, 이미지 생성, 자연어 처리에서 혁신적인 성과를 보여주고 있습니다.
  2. eXplainable AI의 중요성과 필요성에 대해 설명하시오.
    • eXplainable AI는 딥러닝 모델의 결정 과정을 설명할 수 있게 하여, 모델의 투명성, 신뢰성, 공정성을 높이는 것을 목표로 합니다. 이는 특히 의료, 금융 등 중요한 결정을 내리는 분야에서 필수적이며, 사용자와 규제 당국이 모델의 결과를 이해하고 신뢰할 수 있도록 돕습니다.
  3. Semi-Supervised Learning과 Self-Supervised Learning의 차이점을 설명하시오.
    • Semi-Supervised Learning은 일부 라벨이 있는 데이터와 많은 양의 라벨이 없는 데이터를 사용하여 모델을 학습하는 방법론입니다. 반면, Self-Supervised Learning은 라벨이 없는 데이터를 사용하여 자체적으로 라벨을 생성하고 학습하는 방법론으로, 보통 사전 훈련된 모델을 활용하여 다양한 다운스트림 작업을 수행합니다.
  4. Contrastive Learning의 작동 원리와 그 이점에 대해 설명하시오.
    • Contrastive Learning은 입력 데이터 간의 유사도와 차이점을 학습하는 방법으로, 두 개의 유사한 샘플(Positive Sample)과 하나의 상이한 샘플(Negative Sample)을 비교하여 모델을 학습시킵니다. 이 방법은 데이터의 중요한 특징을 효과적으로 학습할 수 있으며, 특히 라벨이 없는 데이터에서 좋은 성능을 보입니다.
  5. Graph Convolutional Neural Networks(GCN)의 기본 개념과 활용 사례를 설명하시오.
    • Graph Convolutional Neural Networks(GCN)는 그래프 구조 데이터를 처리하는 데 사용되는 신경망입니다. 각 노드의 특징과 이웃 노드 간의 관계를 학습하여 그래프의 구조적 정보를 추출합니다. GCN은 소셜 네트워크 분석, 화학 분자 구조 분석, 추천 시스템 등 다양한 분야에서 활용됩니다.

1. Generative Models의 최근 기술이 아닌 것은?

a. AlphaGo

b. Stable Diffusion

c. Transformer-based LLM

d. Convolutional Neural Networks (CNN)

 

2. eXplainable AI의 주요 목표는?

a. 모델의 정확도 향상

b. 모델의 투명성 증가

c. 모델의 속도 개선

d. 데이터의 전처리

 

3. Semi-Supervised Learning에서 사용하는 데이터는?

a. 전부 라벨이 있는 데이터

b. 전부 라벨이 없는 데이터

c. 일부 라벨이 있는 데이터와 많은 라벨이 없는 데이터

d. 전부 생성된 데이터

 

4. Self-Supervised Learning의 주요 특징은?

a. 라벨이 없는 데이터를 사용하여 자체적으로 라벨을 생성한다.

b. 모든 데이터에 라벨이 필요하다.

c. 모델의 파라미터 수를 줄인다.

d. 주로 텍스트 데이터를 처리한다.

 

5. Contrastive Learning에서 학습하는 것은?

a. 입력 데이터의 라벨

b. 입력 데이터의 유사도

c. 입력 데이터의 분포

d. 입력 데이터의 순서

 

6. Graph Convolutional Neural Networks(GCN)는 주로 어떤 데이터를 처리하는데 사용되는가?

a. 이미지 데이터

b. 텍스트 데이터

c. 그래프 구조 데이터

d. 오디오 데이터

 

7. Knowledge Distillation의 목적은?

a. 모델의 크기를 증가시키기 위해

b. 모델의 지식을 작은 모델로 전달하기 위해

c. 모델의 학습 속도를 줄이기 위해

d. 데이터의 전처리를 위해

 

8. Domain Adaptation이 필요한 상황은?

a. 훈련 데이터와 테스트 데이터가 동일한 도메인일 때

b. 훈련 데이터와 테스트 데이터의 도메인이 다를 때

c. 모든 데이터가 라벨이 있을 때

d. 모델의 파라미터 수가 많을 때

 

  1. Semi-Supervised Learning의 작동 원리와 그 장점에 대해 설명하시오.
    • Semi-Supervised Learning은 일부 라벨이 있는 데이터와 많은 양의 라벨이 없는 데이터를 사용하여 모델을 학습합니다. 라벨이 있는 데이터는 모델의 초기 학습에 사용되고, 라벨이 없는 데이터는 모델이 더욱 일반화된 특징을 학습할 수 있도록 돕습니다. 이 방법은 데이터 라벨링에 드는 비용과 시간을 절감할 수 있으며, 라벨이 부족한 상황에서도 높은 성능을 보일 수 있습니다.
  2. Self-Supervised Learning이 기존의 Supervised Learning과 어떻게 다른지 설명하시오.
    • Self-Supervised Learning은 라벨이 없는 데이터를 사용하여 자체적으로 라벨을 생성하고 학습하는 방법론입니다. 이 방법은 데이터의 일부를 숨기고, 모델이 이를 예측하도록 학습합니다. 예를 들어, 이미지의 일부를 가리고 이를 복원하도록 학습하거나, 텍스트의 일부 단어를 마스킹하고 이를 예측하도록 학습합니다. 이는 대규모의 라벨이 없는 데이터에서 효과적으로 학습할 수 있으며, Supervised Learning보다 적은 라벨 데이터로도 높은 성능을 낼 수 있습니다.
  3. Contrastive Learning의 학습 과정과 이점에 대해 설명하시오.
    • Contrastive Learning은 두 개의 유사한 샘플(Positive Sample)과 하나의 상이한 샘플(Negative Sample)을 비교하여 모델을 학습합니다. 모델은 유사한 샘플 간의 거리를 가깝게 하고, 상이한 샘플 간의 거리를 멀게 하는 방향으로 학습됩니다. 이 방법은 데이터의 중요한 특징을 효과적으로 학습할 수 있으며, 특히 라벨이 없는 데이터에서 좋은 성능을 보입니다. Contrastive Learning은 이미지, 텍스트, 그래프 등 다양한 데이터 유형에 적용될 수 있습니다.
  4. Graph Convolutional Neural Networks(GCN)의 작동 원리와 그 활용 사례를 설명하시오.
    • GCN은 그래프 구조 데이터를 처리하는 신경망으로, 각 노드의 특징과 이웃 노드 간의 관계를 학습합니다. 그래프의 인접 행렬(Adjacency Matrix)을 사용하여 노드 간의 연결 정보를 입력으로 받아, 각 노드의 특징을 갱신합니다. GCN은 소셜 네트워크 분석, 화학 분자 구조 분석, 추천 시스템 등에서 활용되며, 데이터 간의 복잡한 관계를 효과적으로 학습할 수 있습니다.

Part 9 

 

  1. Deep Learning은 고장 예측(Predictive Maintenance)에 활용될 수 있다.
    • 참 / 거짓
  2. Virtual Metrology는 실제로 계측과정을 거치지 않은 웨이퍼에 대해 계측정보를 예측하는 기법이다.
    • 참 / 거짓
  3. Convolutional Autoencoders(CAE)는 이미지 데이터의 인코딩과 디코딩에 사용된다.
    • 참  / 거짓
  4. Explainable AI는 딥러닝 모델의 결정 과정을 설명할 수 있게 하는 기술이다.
    • 참  / 거짓
  5. 생산 공정에서의 Fault Detection은 머신러닝 모델을 이용하여 결함을 탐지하는 것을 의미한다.
    • 참  / 거짓
  6. PPG와 ECG 센서를 이용한 혈압 예측은 연속적인 혈압 모니터링을 가능하게 한다.
    • 참  / 거짓
  7. Recommender Systems는 사용자 데이터와 아이템 데이터를 기반으로 개인화된 추천을 제공한다.
    • 참  / 거짓
  8. 형태학적 데이터를 이용한 화합물 반응 유사도 예측은 이미지 데이터를 기반으로 한다.
    • 참  / 거짓
  9. Churn Prediction은 고객이 서비스를 계속 이용할지 여부를 예측하는 모델이다.
    • 참  / 거짓
  10. Sequence-to-Sequence 모델은 입력과 출력의 시퀀스 길이가 다를 때 사용된다.
    • 참  / 거짓

 

  1. Predictive Maintenance의 주요 목표와 그 중요성을 설명하시오.
    • Predictive Maintenance의 주요 목표는 장비의 고장을 사전에 예측하여 불필요한 다운타임을 줄이고, 유지보수 비용을 절감하는 것입니다. 이는 생산성 향상과 비용 절감에 큰 기여를 하며, 안전한 작업 환경을 조성하는 데도 중요합니다.
  2. Virtual Metrology가 제조업에서 어떻게 활용되는지 설명하시오.
    • Virtual Metrology는 실제 계측 과정을 거치지 않고도 웨이퍼 등의 제조 공정에서 얻어진 센서 데이터를 활용하여 제품의 품질을 예측합니다. 이는 계측에 소요되는 시간과 비용을 절감하고, 생산 공정을 실시간으로 모니터링하여 빠른 피드백을 제공할 수 있습니다.
  3. Explainable AI의 필요성과 제조업에서의 활용 사례를 설명하시오.
    • Explainable AI는 모델의 결정 과정을 설명할 수 있게 하여, 사용자가 결과를 이해하고 신뢰할 수 있도록 합니다. 제조업에서는 생산 공정의 최적화, 품질 관리, 결함 탐지 등에서 Explainable AI를 활용하여 더 나은 의사 결정을 지원할 수 있습니다.
  4. Convolutional Autoencoders(CAE)가 이미지 데이터 처리에 적합한 이유를 설명하시오.
    • CAE는 CNN을 기반으로 하여 이미지의 중요한 특징을 추출하고, 이를 이용해 이미지를 압축하거나 복원할 수 있습니다. 이는 노이즈 제거, 이미지 복원, 이미지 생성 등의 작업에 유용하며, 고차원 이미지 데이터를 효율적으로 처리할 수 있습니다.
  5. Recommender Systems에서 Content-based Filtering과 Collaborative Filtering의 차이점을 설명하시오.
    • Content-based Filtering은 아이템의 특성을 기반으로 유사한 아이템을 추천하는 방법으로, 사용자의 과거 선호도를 반영합니다. 반면 Collaborative Filtering은 사용자 간의 유사성을 기반으로 추천을 제공하며, 사용자 행동 패턴을 분석하여 비슷한 취향을 가진 사용자에게 아이템을 추천합니다.

1. Deep Learning을 이용한 고장 예측(Predictive Maintenance)의 주요 이점은?

a. 유지보수 비용 증가

b. 장비 다운타임 증가

c. 유지보수 비용 절감

d. 예측 불가능한 고장 발생

 

2. Virtual Metrology가 제공하는 주요 기능은?

a. 실시간 계측 데이터 생성

b. 웨이퍼의 물리적 측정

c. 공정 변수 예측

d. 웨이퍼의 계측 정보를 예측

 

3. Explainable AI의 주요 목적은?

a. 모델의 정확도 향상

b. 모델의 투명성 증가

c. 모델의 속도 개선

d. 데이터의 전처리

 

4. PPG 센서를 이용한 혈압 예측의 장점은?

a. 비연속적인 측정

b. 침습적인 방법

c. 연속적이고 비침습적인 방법

d. 정확도가 낮음

 

5. Churn Prediction에서 예측하는 것은?

a. 고객의 구매 패턴

b. 고객의 이탈 여부

c. 제품의 품질

d. 생산 공정의 효율성

 

6. Recommender Systems에서 사용되는 방법이 아닌 것은?

a. Content-based Filtering

b. Collaborative Filtering

c. Latent-Factor Model

d. Supervised Filtering

 

7. Fault Detection에서 사용하는 주요 기술은?

a. 이미지 분할

b. 머신러닝 모델

c. 텍스트 분석

d. 음성 인식

 

8. Deep Learning을 이용한 노인 우울도 예측의 주요 데이터는?

a. 텍스트 데이터

b. 이미지 데이터

c. 센서 데이터

d. 소셜 미디어 데이터

 

  1. Predictive Maintenance에서 사용되는 딥러닝 모델과 그 작동 원리를 설명하시오.
    • Predictive Maintenance에서는 주로 시계열 데이터를 처리하는 모델들이 사용됩니다. Recurrent Neural Networks (RNN)과 Long Short-Term Memory (LSTM) 네트워크는 시간에 따라 변하는 데이터를 처리하고, 장비의 상태를 모니터링하여 고장 가능성을 예측하는 데 사용됩니다. 이 모델들은 센서 데이터를 입력받아 시간의 흐름에 따른 패턴을 학습하고, 이상 징후를 감지합니다.
  2. Virtual Metrology의 구현 과정과 제조업에서의 장점에 대해 설명하시오.
    • Virtual Metrology는 공정 센서 데이터를 활용하여 웨이퍼의 품질을 예측하는 기술입니다. 구현 과정은 공정 데이터와 이전의 계측 데이터를 기반으로 회귀 모델을 구축하는 것입니다. 제조업에서의 장점으로는 실제 계측 과정을 줄여 시간과 비용을 절감하고, 실시간으로 품질을 모니터링하여 신속한 대응을 가능하게 합니다.
  3. Explainable AI가 제조업의 품질 관리에 어떻게 기여할 수 있는지 설명하시오.
    • Explainable AI는 모델의 결과를 이해하고 설명할 수 있게 하여, 품질 관리에서의 의사 결정을 지원합니다. 제조업에서는 생산 공정의 복잡한 데이터를 분석하여 결함의 원인을 규명하고, 공정 개선을 위한 인사이트를 제공합니다. 이는 품질 향상과 비용 절감에 큰 기여를 할 수 있습니다.
  4. Convolutional Autoencoders(CAE)를 이용한 이미지 복원 방법과 그 응용 사례를 설명하시오.
    • CAE는 입력 이미지의 특징을 추출하여 압축하고, 이를 디코딩하여 원래 이미지를 복원합니다. 인코더 부분은 CNN을 사용하여 이미지의 중요한 특징을 추출하고, 디코더 부분은 추출된 특징을 다시 이미지로 복원합니다. 응용 사례로는 노이즈 제거, 이미지 복원, 손상된 이미지의 복구 등이 있습니다.
  5. Recommender Systems에서 Deep Learning 모델이 어떻게 활용되는지 설명하시오.
    • Recommender Systems에서는 Deep Learning 모델을 사용하여 사용자와 아이템 간의 복잡한 관계를 학습합니다. 예를 들어, Neural Collaborative Filtering (NCF)은 사용자의 과거 행동 데이터를 기반으로 추천을 제공하며, Sequence-to-Sequence 모델은 사용자의 시퀀스 데이터를 분석하여 다음에 추천할 아이템을 예측합니다. 이러한 모델들은 사용자 경험을 향상시키고, 보다 개인화된 추천을 제공하는 데 활용됩니다.