Deep-Dive AI

docker run --gpus all 에서 GPU driver 관련 에러가 발생한다. 원인GPU를 사용할 수 있는 Docker 런타임 설정이 안 되어 있음nvidia-container-toolkit 패키지가 설치 안 되어 있고, Docker daemon 설정 파일(/etc/docker/daemon.json)에 nvidia 런타임 설정이 없음 해결 방법1) NVIDIA Container Toolkit 설치NVIDIA 공식 repository 추가curl -s -L https://nvidia.github.io/libnvidia-container/gpgkey | sudo apt-key add -distribution=$(. /etc/os-release;echo $ID$VERSION_ID)curl -s -L ..

docker run 시에 이미 같은 컨테이너 이름이 있어서 충돌했음을 알 수 있다. 해결 방법은 단순하게 기존 컨테이너를 정지 및 삭제 후 재설치 하거나, 다른 이름으로 컨테이너를 생성하면 된다. sudo docker stop {container-name}sudo docker rm {container-name} 함부로 삭제하진 맙시다.

1. Docker 기본 명령어명령어 설명docker build -t [이미지이름] .Dockerfile로 이미지 빌드docker images현재 존재하는 이미지 목록 확인docker run -it --name [컨테이너이름] [이미지이름]컨테이너 실행 (터미널 연결)docker ps -a모든 컨테이너 목록 확인docker start [컨테이너이름]중지된 컨테이너 실행docker stop [컨테이너이름]실행중인 컨테이너 정지docker exec -it [컨테이너이름] /bin/bash실행중인 컨테이너 접속docker rm [컨테이너이름]컨테이너 삭제docker rmi [이미지이름]이미지 삭제 2. Dockerfile 작성 시 유용한 명령어명령어 설명FROM어떤 이미지를 기반으로 만들지 지정RUN이미지 빌드..

nano란?nano는 리눅스에서 사용하는 간단한 터미널 기반 텍스트 에디터명령어: nano 파일이름 특징:직관적이고 사용법이 쉽다터미널 내에서 바로 텍스트 파일 생성/수정 가능자주 쓰는 단축키:Ctrl + O : 저장 (Write Out)Ctrl + X : 종료Ctrl + K : 현재 줄 삭제Ctrl + U : 붙여넣기Ctrl + W : 찾기 (Search)

Building an encoder-decoder transformer architecture for sequence-to-equence language tasks like text translation and summarization Encoder-Decoder Connection: The encoder connects to the decoder through cross-Attention, allowing the decoder to use the encoder's final hidden states to generate the target sequence.Cross-Attention Mechanism: This mechanism helps the decoder "look back" at the inpu..

Transformer 모델에서 inference는 크게 Prefill과 Decode의 두 단계로 이루어진다. 이 두 단계는 입력 토큰을 처리하고, 출력을 생성하는 방식이 다르며, 각각 성능에 중요한 영향을 미친다. 또한, 효율적인 추론을 위해 KV (Key-Value) 캐싱이 활용되는데, 이를 통해 불필요한 연산을 줄이고 속도를 최적화할 수 있다. Prefill 단계: 입력 토큰 처리 단계 Prefill 단계는 모델이 전체 입력 시퀀스를 한 번에 병렬로 처리하여, 각 토큰을 key-value 쌍으로 변환하는 과정이다. 이때 행렬-행렬 곱셈(matrix-matrix multiplication) 연산을 통해 모든 토큰이 병렬로 처리되므로, 여러 토큰을 동시에 계산할 수 있어 GPU를 최대로 활용할 수 있다...

파이썬의 버전은 --version 플래그를 통해 알 수 있다파이썬의 버전 확인python --version파이썬3은 python3 이름을 이용python3 --version파이썬 내장 모듈 sys 의 값을 검사해서 버전을 알 수 있음import sysprint(sys.version_info)print(sys.version)sys 모듈은 파이썬 인터프리터가 제공하는 변수와 함수를 직접 제어할 수 있게 해줌명령 행에서 인수 전달하기 - sys.argvimport sysprint(sys.argv)강제로 스크립트 종료하기 - sys.exitsys.exit()자신이 만든 모듈 불러와 사용하기 - sys.pathimport syssys.path

객체지향 언어로서 파이썬은 상속(inheritance), 다형성(polymorphism), 캡슐화(encapsultion) 등과 같은 기능을 제공한다. 파이썬으로 원하는 작업을 수행하기 위해 새로운 클래스를 작성하고, 새로 작성한 클래스들이 인터페이스와 계층 구조를 통해 상호작용하는 방식을 정의해야 한다. 파이썬 내장 딕셔너리 타입을 사용하면 객체 생명 주기 동안 동적인 내부 상태를 유지할 수 있다. 동적(dynamic)은 어떤 값이 들어 올지 미리 알 수 없는 식별자들을 유지해야 한다는 뜻이다. 예를 들어, 학생들의 점수를 기록해야 하는데 학생의 이름은 미리 알 수 없는 상황이라고 하면 학생별로 미리 정의된 애트리뷰트를 사용하는 대신 딕셔너리에 이름을 저장하는 클래스를 정의할 수 있다. class Si..