이빨 빠진 미남이

https://arxiv.org/abs/2002.08909 REALM 논문은 구글이 발표한 논문으로 Language model에 Retrieval을 적용한 모델입니다. 기존의 언어 모델은 방대한 데이터로 사전 학습을 하더라도, 학습된 데이터 이외의 지식에 접근하지 못하는 한계가 있습니다. 이러한 모델은 학습 단계에서 제공된 정보에만 의존하여 knowledge를 parameter 내에서만 찾을 수 있습니다. 특히 오픈 도메인 질문 응답(Open-Domain QA)과 같은 과제에서는 사용자가 묻는 질문에 대한 답을 정확하게 제공하기 어려웠습니다.  최신 정보나 폭넓은 지식을 참고해야 하기 때문에 기존 언어 모델의 한계를 극복하고자 retrieval-augmented 언어 모델 학습을 하였습니다. 특징은 단순..

InstructEval: Towards Holistic Evaluation of Instruction-Tuned Large Language Models 링크: https://arxiv.org/abs/2306.04757 11-12p A.3.1 Writing Evaluation Rubrics To evaluate the model outputs automatically, we use ChatGPT as an evaluator model. Specifically, we provide the generated output of a model and prompt the evaluator model to grade the generated text on a scale of 1 to 5 based on suitabl..

Title: JudgeLM: Fine-tuned Large Language Models are Scalable Judges 링크: https://arxiv.org/abs/2310.17631 여기서 만든 데이터셋 format으로 만들고, judgeLM으로 평가 내리는 것을 생각하기 (Github) Summary A novel approach to evaluating large language models, which are advanced AI models capable of generating human-like text. The main chanllenge in assessing LLMs is that existing benchmarks and metrics don't comprehensively me..

Title: Re3: Generating Longer Stories With Recursive Reprompting and Revision 링크: https://arxiv.org/abs/2210.06774 0 Abstract 2,000 단어가 넘는 긴 이야기를 자동으로 생성하는 문제를 고려한다. 짧은 이야기에 비해 긴 길이의 줄거리의 일관성과 관련성은 도전과제다. 이를 해결하기 위해 Recursive Reprompting and Revision (Re3) 프레임워크를 제안한다. 일반 목적의 언어 모델에게 구조적인 전반적 계획을 구성하도록 요청 계획과 현재 스토리 상태에서 얻은 맥락 정보를 언어 모델 프롬프트에 반복적으로 주입하여 스토리 구절 생성 줄거리의 일관성과 전제의 관롼셩을 위해 다른 시퀀스를 재순..

Title: A Systematic Survey of Prompt Engineering in Large Language Models: Techniques and Applications 링크: https://arxiv.org/abs/2402.07927 프롬프트 엔지니어링 구성 요소의 시각적 분석: 프롬프트를 형성하는 중추 요소인 광범위한 데이터, 지침 및 컨텍스트와 사용자 입력 인터페이스에 대해 교육받은 LLM이다. 대규모 언어 모델(Large Language Models, LLM) 및 시각-언어 모델(Vision-Language Model VLMs) 내의 프롬프트 엔지니어링 분야의 발전에 대한 개요 각 기술의 방법론, 응용, 관련 모델, 사용된 데이터셋에 대한 설명과 장점 및 한계 논의 2.1 New T..

Paper link: arxiv.org/abs/2307.11978 Code link: github.com/CEWu/PTNL 이 논문은 실험으로 결과를 입증하고 설득하는 형식이라서 table을 통해 설명을 이어갈 것 같습니다. 이걸 일주일 동안 붙잡으며 읽은 결과, 복잡한 architecture 그림과 복잡한 수식의 method가 없어서 겉으로 보기엔 쉬워 보이나 의외로 쉬운 논문은 아니고 vision-language 쪽을 한 번 싹 정리하며 unsupervised 까지 맛보고 싶다면 좋은 논문인 것 같아 필요하다고 판단된다면 추천 드리는 논문입니다. Why Is Prompt Tuning for Vision-Language Models Robust to Noisy Labels? CLIP과 같은 vision..

Paper: LINK Abstract Large-scale contrastive vision-language pre-training은 vision representation learning의 많이 발전되어 왔습니다. 전통적인 visual system은 고정된 discrete labels에 의해 학습되었고, 새로운 패러다임으로 open-vocabulary setting 에서 이미지와 raw text를 함께 align하여 학습하는 CLIP이 등장하였습니다. downstream task에서는 zero-shot predictions을 위해 신중하게 선택한 text prompt를 사용합니다. 여기서 prompt engineering을 non-trivial하게 다루는 것을 피하기 위해 제안된 것이 CoOp의 논문입..

논문 링크: https://arxiv.org/abs/2303.16456 현재는 Abstract와 Figure 위주의 굵직한 내용만 살펴보았습니다. Abstract 사전 훈련된 2D-to-3D human pose lifting model을 보이지 않는 타겟 데이터셋에 적용할 때 일반적으로 도메인 이동 문제로 인해 성능에 있어 큰 degradation이 발생한다. 그 원인으로 두 가지 원인이 있다면 카메라 파라미터와 세팅에 따른 소스 데이터셋과 타겟 데이터셋 사이 포즈에 대한 global position 사이의 분포 차이 학습 데이터의 포즈 로컬 구조에 대한 다양성이 부족한 점 때문이다. 따라서 PoseDA에서는 global adaptation과 local generalization을 결합하여, 3D 인간 ..