이빨 빠진 미남이

https://arxiv.org/abs/2002.08909 REALM 논문은 구글이 발표한 논문으로 Language model에 Retrieval을 적용한 모델입니다. 기존의 언어 모델은 방대한 데이터로 사전 학습을 하더라도, 학습된 데이터 이외의 지식에 접근하지 못하는 한계가 있습니다. 이러한 모델은 학습 단계에서 제공된 정보에만 의존하여 knowledge를 parameter 내에서만 찾을 수 있습니다. 특히 오픈 도메인 질문 응답(Open-Domain QA)과 같은 과제에서는 사용자가 묻는 질문에 대한 답을 정확하게 제공하기 어려웠습니다.  최신 정보나 폭넓은 지식을 참고해야 하기 때문에 기존 언어 모델의 한계를 극복하고자 retrieval-augmented 언어 모델 학습을 하였습니다. 특징은 단순..