vllm 공식문서에서는 vllm은 성능을 위해 cuda kernal들을 컴파일하여 사용한다고 한다. 따라서 기존 설치된 것들과 충돌을 피하기 위해 새로운 가상환경에서 vllm 세팅을 권장한다. 또한 특정 버전의 CUDA or Torch를 사용하기 위해선 vllm source를 받고 알맞게 빌드해줘야한다. Pre-Built 사용시엔 크게 할 일이 없다 (추가 빌드 필요없음)이 포스트에서는 Pre-built (CUDA 12.1) 사용.1. 가상환경 생성공식문서에선 conda를 사용하지만 pipenv, venv 등 사용해도 괜찮다.기존 설치된 것들에 영향받지 않는 새로운 가상환경만 만들면 된다.(나는 사용해오던 pyenv + pipenv 조합으로 진행)2. vllm 설치pip 커맨드로 가능하다. 가상환경 내에..
