이빨 빠진 미남이

최근 NLP를 공부하면서 프롬프트(Prompt)라는 것을 알게 되었고, 현재도 프롬프트 러닝에 대해 이해하기 위해 노력 중이다. 일단 자연어처리 수업을 들으며 정확히는 아니더라도 NLP의 개념과 흐름에 대해 전반적으로 배우고 있는게 많은 도움이 되고 있다. 특히 Pre-train, Fine-tuning의 모델인 BERT를 공부한게 가장 잘한 것 같다. BERT는 prompt-based NLP가 시작하는 지점이라고 말하기도 한다. NLP의 패러다임을 간단히 살펴보면 아래와 같다. a. Fully Supervised Learning (Non-Neural Network) - Features b. Fully Supervised Learning (Neural Network) - Architecture (e.g. ..

NLP의 기초적인 내용, Encode-Decoder, Encoder Only, Decoder Only model 등에 대한 정리입니다. 잘못된 내용 있으면 지적 부탁드리고 참조는 아래 남겨두었습니다. 감사합니다. NLP tutorial Encoder-only Models(BERT) Decoder-only Models(GPT) Encoder-decoder Models (BART) In-Context Learning (GPT-3) Prompting for Few-shot Learning Natural language processing Natural language processing Tokenization Word Embedding 1. NLP Giving computers the ability to un..