이빨 빠진 미남이

NLP의 기초적인 내용, Encode-Decoder, Encoder Only, Decoder Only model 등에 대한 정리입니다. 잘못된 내용 있으면 지적 부탁드리고 참조는 아래 남겨두었습니다. 감사합니다. NLP tutorial Encoder-only Models(BERT) Decoder-only Models(GPT) Encoder-decoder Models (BART) In-Context Learning (GPT-3) Prompting for Few-shot Learning Natural language processing Natural language processing Tokenization Word Embedding 1. NLP Giving computers the ability to un..

Zero-shot learning: 인스턴스별 레이블 없이 학습 Few-shot learning: 몇 가지 훈련 예제로 학습 Unsupervised learning: 레이블 없는 학습. 제로샷 학습과의 차이점 Auto-encoders, contrastive learning Generative models: GANs, VAEs Semi-supervised laerning 라벨 정보가 없는 이미지의 큰 데이터셋이 존재한다면, 이것을 어떻게 다룰 것이닞? Pseudo-labeling 방법이 있다. Pseudo-labels Iterative algorithm: Train a classifier $f$ on $D_1$ Pseudo-labelling: build dataset $D_2$ where we used ..

Pretraining and Fine-tuning Cosine Similarity Softmax Function Softmax Classifier Few-Shot Prediction Using Pretrained CNN 기본적인 지도 학습을 이용해서 사전 학습 시킬 수 있습니다. Pretrain a CNN for feature extraction (aka embedding). The CNN can be pretrained using standard supervised learning or Siamese network. 두 이미지에서 각 feature vector가 나옵니다. 이것을 averaing하여 mean vector를 만듭니다. 이 mean vector는 저 squirrel class의 repres..

Siamese Networks이란? Learning Pairwise Similarity Scores 해당 PPT 자료를 통해, 이미지의 한 쌍이 같은 class라면 positive한 값 1을 다르다면 negative한 값은 0으로 결과를 내줍니다. CNN의 feature extraction 과정을 살펴보면 input 이미지가 x로 들어가고 output은 feature vector로 출력됩니다. z는 두 feature vector의 차인 $|h_1-h_2|$의 vector입니다. 흐름 설명 Siamse twins are connected to each other in the figure the twins have their own bodies but their heads are connected. We h..

기본적인 컨셉 Support set Support set is a small set of smaples → It is too small for training a model. Every class has at most a few samples. The support set can only provied additional information at test time. Query Set Query samples are never seen before. Query samples are from unkonwn classes. Traditional supervised learning Test samples are never seen before. Test samples are from known classes...