이빨 빠진 미남이

Building an encoder-decoder transformer architecture for sequence-to-equence language tasks like text translation and summarization Encoder-Decoder Connection: The encoder connects to the decoder through cross-Attention, allowing the decoder to use the encoder's final hidden states to generate the target sequence.Cross-Attention Mechanism: This mechanism helps the decoder "look back" at the inpu..

Transformer 모델에서 inference는 크게 Prefill과 Decode의 두 단계로 이루어진다. 이 두 단계는 입력 토큰을 처리하고, 출력을 생성하는 방식이 다르며, 각각 성능에 중요한 영향을 미친다. 또한, 효율적인 추론을 위해 KV (Key-Value) 캐싱이 활용되는데, 이를 통해 불필요한 연산을 줄이고 속도를 최적화할 수 있다. Prefill 단계: 입력 토큰 처리 단계 Prefill 단계는 모델이 전체 입력 시퀀스를 한 번에 병렬로 처리하여, 각 토큰을 key-value 쌍으로 변환하는 과정이다. 이때 행렬-행렬 곱셈(matrix-matrix multiplication) 연산을 통해 모든 토큰이 병렬로 처리되므로, 여러 토큰을 동시에 계산할 수 있어 GPU를 최대로 활용할 수 있다...

파이썬의 버전은 --version 플래그를 통해 알 수 있다파이썬의 버전 확인python --version파이썬3은 python3 이름을 이용python3 --version파이썬 내장 모듈 sys 의 값을 검사해서 버전을 알 수 있음import sysprint(sys.version_info)print(sys.version)sys 모듈은 파이썬 인터프리터가 제공하는 변수와 함수를 직접 제어할 수 있게 해줌명령 행에서 인수 전달하기 - sys.argvimport sysprint(sys.argv)강제로 스크립트 종료하기 - sys.exitsys.exit()자신이 만든 모듈 불러와 사용하기 - sys.pathimport syssys.path

객체지향 언어로서 파이썬은 상속(inheritance), 다형성(polymorphism), 캡슐화(encapsultion) 등과 같은 기능을 제공한다. 파이썬으로 원하는 작업을 수행하기 위해 새로운 클래스를 작성하고, 새로 작성한 클래스들이 인터페이스와 계층 구조를 통해 상호작용하는 방식을 정의해야 한다. 파이썬 내장 딕셔너리 타입을 사용하면 객체 생명 주기 동안 동적인 내부 상태를 유지할 수 있다. 동적(dynamic)은 어떤 값이 들어 올지 미리 알 수 없는 식별자들을 유지해야 한다는 뜻이다. 예를 들어, 학생들의 점수를 기록해야 하는데 학생의 이름은 미리 알 수 없는 상황이라고 하면 학생별로 미리 정의된 애트리뷰트를 사용하는 대신 딕셔너리에 이름을 저장하는 클래스를 정의할 수 있다. class Si..

https://arxiv.org/abs/2002.08909 REALM 논문은 구글이 발표한 논문으로 Language model에 Retrieval을 적용한 모델입니다. 기존의 언어 모델은 방대한 데이터로 사전 학습을 하더라도, 학습된 데이터 이외의 지식에 접근하지 못하는 한계가 있습니다. 이러한 모델은 학습 단계에서 제공된 정보에만 의존하여 knowledge를 parameter 내에서만 찾을 수 있습니다. 특히 오픈 도메인 질문 응답(Open-Domain QA)과 같은 과제에서는 사용자가 묻는 질문에 대한 답을 정확하게 제공하기 어려웠습니다.  최신 정보나 폭넓은 지식을 참고해야 하기 때문에 기존 언어 모델의 한계를 극복하고자 retrieval-augmented 언어 모델 학습을 하였습니다. 특징은 단순..

Vsocde를 실행 시키면, 가끔 출력 라인이 많을 경우에 따로 로그를 저장해두지 않는다면 보고 싶었던 출력 결과를 못 볼 수가 있음 이럴 땐 출력되는 버퍼를 늘리는 방법이 존재 Setting > scrollback 검색  그 다음에 아래 기본 설정 되어 있는 1000을 원하는 만큼 바꾸면 됩니다.

pip install fairscale 을 시도했는데, 정체불명의 빨간색, 노란색 에러가 올라가며 설치가 되지 않았다.  파이썬 버전 3.7과 충돌하는 무언가가 있는듯 하다. 설치하기 위한 어떤 속성이 없다는 에러 같았다. pip uninstall typing  이렇게 해보고, 안 되면 이 방법을 사용해보라고 한다. pip uninstall dataclasses.

InstructEval: Towards Holistic Evaluation of Instruction-Tuned Large Language Models 링크: https://arxiv.org/abs/2306.04757 11-12p A.3.1 Writing Evaluation Rubrics To evaluate the model outputs automatically, we use ChatGPT as an evaluator model. Specifically, we provide the generated output of a model and prompt the evaluator model to grade the generated text on a scale of 1 to 5 based on suitabl..