이빨 빠진 미남이

Contrastive learning pre-training은 딥러닝에 널리 적용되었습니다. 레이블이 지정된 데이터(labeled data)의 효율성을 향상 시킬 수 있었습니다. 레이블이 지정되지 않은(unlabeled) 이미지는 unsupervised contrastive pre-learning 중에 latent space에 클러스터 되어서 서로 다른 클래스 간에 상당히 좋은 decision boundary를 형성합니다. 이 클러스터링 기반으로 subsequent supervised fine-tuning은 random initialization보다 더 좋은 성능을 냅니다. Visual-Language Models Visual-Language models은 CLIP의 등장 이후 주로 zero-shot l..

전통적인 지도학습은 학습과 테스트 샘플이 같은 라벨 공간에 공유되는 closed-set 세계에서 분류기를 학습합니다. Open set learning은 학습 동안 나타나지 않은 클래스로 구성된 테스트 샘플이 존재하는 더 도전적이고 현실적인 세팅입니다. OSL은 훈련에서 나오지 않은 테스트 샘플로 감지하는 sub-task입니다. 위 다이어그램은 unseen class인 '보트' sample에 대한 추론 단계 예시입니다.

Fine-Grained Image Classification 이는 이미지의 카테고리를 더 세분화하는 것을 목표로 하는 컴퓨터 비전의 작업 중 하나이다. 예를 들면, 새의 다른 종을 분류하는 것이나 꽃의 종을 들 수 있다. 이 작업은 더 세분화(fine-grained)된 이미지 분류라고 불리는 이유는 시각적인 모양과 패턴의 더 미묘한 차이를 구별해야 하므로 이렇게 이름이 붙여졌다.

What's in a "Domain" Mathematically, joint distribution over inputs and outputs differs over domains 1 and 2 $P_{d1}(X,Y) \ne P_{d2}(X,Y)$ 예를 들어, Content, whit is being discussed Style, the way in which it is being discussed Labeling Standards, the way thtat the same data is labeled Types of Domian Shift Covariate Shift: The input changes but not the labeling $P_{d1}(X) \ne P_{d2}(X)$ $P_{d1}(Y|..

Zero-shot learning: 인스턴스별 레이블 없이 학습 Few-shot learning: 몇 가지 훈련 예제로 학습 Unsupervised learning: 레이블 없는 학습. 제로샷 학습과의 차이점 Auto-encoders, contrastive learning Generative models: GANs, VAEs Semi-supervised laerning 라벨 정보가 없는 이미지의 큰 데이터셋이 존재한다면, 이것을 어떻게 다룰 것이닞? Pseudo-labeling 방법이 있다. Pseudo-labels Iterative algorithm: Train a classifier $f$ on $D_1$ Pseudo-labelling: build dataset $D_2$ where we used ..

제1고지 - 다차원 배열을 tensor라고 하며, 방향을 차원(dimension) 혹은 축(axis)라고 합니다. - 컴퓨터 과학에서 그래프는 노드(node)와 에지(edge)로 구성된 데이터 구조를 말함 - __call__ 메서드는 파이썬의 특수 메서드. 이 메메서드를 정의하면 f = Function() 형태로 함수의 인스턴스 변수를 변수 f에 대입해두고, 나중에 f(...) 형태로 __call__ 메서드를 호출 - 'NotImplementedError'는 ㅇ이 메서드는 상속하여 구현해야 한다는 의미 - assert 문은 결과가 True가 아니면 예외가 발생함 class Variable: def __init__(self, data): self.data = data self.grad = None self..

Pretraining and Fine-tuning Cosine Similarity Softmax Function Softmax Classifier Few-Shot Prediction Using Pretrained CNN 기본적인 지도 학습을 이용해서 사전 학습 시킬 수 있습니다. Pretrain a CNN for feature extraction (aka embedding). The CNN can be pretrained using standard supervised learning or Siamese network. 두 이미지에서 각 feature vector가 나옵니다. 이것을 averaing하여 mean vector를 만듭니다. 이 mean vector는 저 squirrel class의 repres..

Siamese Networks이란? Learning Pairwise Similarity Scores 해당 PPT 자료를 통해, 이미지의 한 쌍이 같은 class라면 positive한 값 1을 다르다면 negative한 값은 0으로 결과를 내줍니다. CNN의 feature extraction 과정을 살펴보면 input 이미지가 x로 들어가고 output은 feature vector로 출력됩니다. z는 두 feature vector의 차인 $|h_1-h_2|$의 vector입니다. 흐름 설명 Siamse twins are connected to each other in the figure the twins have their own bodies but their heads are connected. We h..