데이터 공부하는 뉴욕킴

Regularization Overfitting (과적합):원인: 데이터가 적을 경우, 복잡한 데이터일 경우(변수가 너무 많음, weights이 큰 경우)정의: 모델이 훈련 데이터에 너무 밀접하게 맞춰져서 생성되는 오류입니다. 이 경우, 모델은 훈련 데이터의 노이즈와 잡음까지 학습하여, 새로운 데이터나 테스트 데이터에 대해서는 일반화를 잘 수행하지 못합니다.특징:모델이 훈련 데이터에서는 매우 높은 성능을 보이지만, 테스트 데이터나 실제 적용 시에는 성능이 저하됩니다.복잡한 모델(많은 파라미터를 가진)이 과적합될 위험이 더 큽니다.해결 방법:데이터 양 증가, 불필요한 변수 제거, weights 줄이기, 교차 검증, 정규화 기법 적용, 간단한 모델 사용 등이 있습니다.Underfitting (과소적합):원인..

Deep Neural Networks Neural networks that have more than two hidden layers (2개 이상) Capacity increases when the number of hidden layers is large -> Capa을 올리기 위해서 더 많은 connections이 필요함 복잡한 모델을 사용하기 위해서는? Wide (width) → 한번에 복잡한 것 처리 Deep (depth) → 여러 층을 거치며 복잡한 것을 처리 Wide Networks: 'Wide' 신경망은 주로 네트워크의 각 층에 많은 수의 뉴런(또는 노드)를 가집니다. 이러한 구조는 넓은 데이터(많은 특징을 가진 데이터)를 처리하는데 적합할 수 있습니다. 'Wide' 네트워크는 종종 특징 간..

Semi Supervised Learning(준지도학습) When only some images have the required label (전체 중 몇개의 이미지만 필요한 레이블을 가지고 있고, 다른 것들은 이미지만 가지고 있음)   Weakly Supervised Learning(약지도학습) When all images have the cost-efficient (incomplete) labels(불완전한 레이블을 가지고 있음) 학습한 것들을 요약(Mk) → 마스크 잡기 → 학습한 부분만 잡아줌   Semi Supervised Image classification 레이블이 지정된 데이터(수퍼바이즈드 학습에서 사용)와 레이블이 지정되지 않은 데이터를 모두 사용하여 모델을 훈련시키는 방법 레이블이 있는 ..

Super Resolution 낮은 해상도의 이미지를 고해상도로 변환하는 과정1) Interpolation-based method(보간 기반 방법)  이미지의 낮은 해상도 부분에 대한 새로운 픽셀 값을 추정하기 위해 보간 기술을 사용 가장 널리 사용되는 보간 기법으로는 Nearest Neighbor, Bilinear, Bicubic  2) Learning-based method(학습 기반 방법)  딥 러닝을 사용하여 낮은 해상도의 이미지로부터 고해상도 이미지를 생성 학습 기반 방법은 대량의 데이터셋에서 낮은 해상도와 고해상도 이미지 간의 관계를 학습하여, 새로운 낮은 해상도 이미지에 적용 이미지의 복잡한 텍스처와 세부 사항을 더 잘 복원할 수 있으며, 보간 방법보다 더 높은 품질의 결과를 생성할 수..