[Error] failed to initialize nvml: driver/library version mismatch

container 가 갑자기 종료되고 start 하려니 갑자기 mismatch 에러가 뜨면서 실행이 안 된다. 이때 nvidia-smi를 입력해도 뜨지 않고 위의 에러가 나온다.

 

해결 방법은 nvidia driver를 unload하고 관련 모듈을 삭제하면 충돌이 사라진다.

 

lsmod | grep nvidia

 

이걸 통해 로드되어 있는 목록을 확인한 다음,

 

이렇게 확인이 될 것이다.

 

sudo rmmod nvidia_drm 
sudo rmmod nvidia_modeset 
sudo rmmod nvidia_uvm 
sudo rmmod nvidia

이걸 꼭 순서대로 언로드 해주시길!

 

만약에, "rmmod: ERROR: Module nvidia_drm is in use" 이런 형식의 에러가 뜬다면

 

sudo lsof /dev/nvidia*

 

관련 프로세스를 조회한 다음에 kill 명령을 해줘야 한다.

sudo kill <PID>

 

 

나는 이렇게 떠서, 'sudo kill 1127', 'sudo kill 1500' 을 해주었다.

 

그 다음 다시 'lsmod | grep nvidia'을 통해 조회한 다음, sudo rmmod ...  진행해주기

 

 

그럼 다시 조회 가능하다.