이빨 빠진 미남이

Style Transfer 주어진 이미지의 스타일과 콘텐츠를 결합하여 새로운 이미지를 생성하는 작업 일반적으로 두 개의 이미지를 사용하는데 하나는 스타일 이미지로서 원하는 스타일을 갖고 있고, 다른 하나는 콘텐츠 이미지로서 스타일을 적용하고자 하는 대상임 스타일 이미지의 텍스처, 색상 및 시각적 특징을 콘텐츠 이미지에 적용하여 두 이미지를 결합한 결과를 생성함 스타일 전이는 주로 이미지 처리 작업에 사용되며, 예술적 효과를 부여하거나 이미지 스타일 변환을 수행하는데 사용 Generative Model 주어진 데이터로부터 새로운 데이터를 생성하는 모델 생성 모델은 주어진 데이터의 특징과 패턴을 추출한 후, 그 기반으로 새로운 샘플을 생성함 생성 모델은 딥러닝의 생성적 적대 신경망(GAN, Generativ..

"Online Class-Incremental Continual Learning with Adversarial Shapley Value" 논문 읽으며 굵직한 개념 정리 1. Online Continual Learning 의미 온라인 지속적 학습(Online Continual Learning)은 컴퓨터 시스템이 새로운 데이터를 계속해서 받아들이고, 이전에 학습한 데이터와 함께 사용하여 지속적으로 학습하고 성능을 개선하는 능력을 말한다. 기존의 머신 러닝 모델은 대부분 한 번 학습하면 끝이여서 새로운 데이터를 받아들이면 처음부터 다시 학습해야 한다. 하지만 온라인 지속적 학습은 이전에 학습한 내용을 유지하면서 새로운 데이터를 계속해서 학습하여 모델의 성능을 개선할 수 있다. 온라인 지속적 학습은 대규모 데이..

이미지 태깅(Image Tagging)은 이미지 분류(Image Classification)의 한 종류로, 이미지에 대한 태그를 생성하는 작업을 말한다. 이미지 태깅(Image Tagging)은 이미지에 대해 적절한 레이블 또는 태그를 부여하는 작업으로 이 작업은 이미지 분류(Image Classification)과 비슷하지만, 이미지 분류는 단일 레이블을 할당하는 반면, 이미지 태깅은 이미지에 대해 다중 레이블 또는 태그를 부여한다. 일반적으로 객체를 식별하고 이미지 내에서 발견되는 다양한 속성, 개념 또는 주제에 대한 라벨 또는 태그를 생성하는 것을 목표로 한다. 예를 들어, "사람", "자동차", "도시", "자연", "해변" 등의 태그를 이미지에 부여하는 것이 가능하다. 이렇게 생성된 태그는 이미..

공부하며 정리한 것 하지만 시험은 못 봄 ㅋ

최근 NLP를 공부하면서 프롬프트(Prompt)라는 것을 알게 되었고, 현재도 프롬프트 러닝에 대해 이해하기 위해 노력 중이다. 일단 자연어처리 수업을 들으며 정확히는 아니더라도 NLP의 개념과 흐름에 대해 전반적으로 배우고 있는게 많은 도움이 되고 있다. 특히 Pre-train, Fine-tuning의 모델인 BERT를 공부한게 가장 잘한 것 같다. BERT는 prompt-based NLP가 시작하는 지점이라고 말하기도 한다. NLP의 패러다임을 간단히 살펴보면 아래와 같다. a. Fully Supervised Learning (Non-Neural Network) - Features b. Fully Supervised Learning (Neural Network) - Architecture (e.g. ..

NLP의 기초적인 내용, Encode-Decoder, Encoder Only, Decoder Only model 등에 대한 정리입니다. 잘못된 내용 있으면 지적 부탁드리고 참조는 아래 남겨두었습니다. 감사합니다. NLP tutorial Encoder-only Models(BERT) Decoder-only Models(GPT) Encoder-decoder Models (BART) In-Context Learning (GPT-3) Prompting for Few-shot Learning Natural language processing Natural language processing Tokenization Word Embedding 1. NLP Giving computers the ability to un..

다운스트림 비전 작업에서 이미지 인코더만 활용하는 단점은 텍스트 인코더의 프롬프트 정보가 버려진다는 것입니다. 텍스트 인코더는 다운스트림 비전 작업의 성능에 기여할 수 있는 신속한 임베딩을 제공합니다. 따라서 다운스트림 작업의 미세 조정에서 두 인코더를 협력하여 이미지-텍스트 임베딩 간의 상호 작용을 조사하고 효율적인 모델 적응에서 그 효과를 이해할 수 있습니다. 효율적인 모델 적응은 데이터 효율적 및 매개 변수 효율적이라는 두 가지 방법으로 달성할 수 있습니다. 두 방법 모두 레이블이 지정된 데이터 및 모델 매개변수와 같은 관련 리소스를 줄임으로써 모델 학습 부담을 완화합니다. 전자는 소수/제로 샷 학습을 달성하는 데 도움이 될 수 있고 후자는 전체 매개변수의 작은 비율만 훈련하여 높은 성능을 달성할 ..

Contrastive learning pre-training은 딥러닝에 널리 적용되었습니다. 레이블이 지정된 데이터(labeled data)의 효율성을 향상 시킬 수 있었습니다. 레이블이 지정되지 않은(unlabeled) 이미지는 unsupervised contrastive pre-learning 중에 latent space에 클러스터 되어서 서로 다른 클래스 간에 상당히 좋은 decision boundary를 형성합니다. 이 클러스터링 기반으로 subsequent supervised fine-tuning은 random initialization보다 더 좋은 성능을 냅니다. Visual-Language Models Visual-Language models은 CLIP의 등장 이후 주로 zero-shot l..