라이언 기록

  • 홈
  • 태그
  • 방명록

depoly 1

local llm 배포하기 - vllm & hugging face

목차0. wsl 설치 (window 한정)1. git lfs 설치2. llm 모델 선정 후 다운로드3. vllm 설치4. run0. wsl 설치vllm이 윈도우를 지원하지 않는 관계로 wsl 설치하여 ubuntu환경 세팅 필요powershell 관리자 권한 실행wsl --install 재부팅 후 다시 powershell을 켜고 wsl --install설치 완료후 powershell ~ wsl 입력하면 ubuntu 환경으로 들어가진다. wsl 최초 접속시 계정 비밀번호를 설정하는데 나중에 git lfs 설치할때 필요하니 메모 참조1: https://learn.microsoft.com/ko-kr/windows/wsl/install1. git lfs 설치git clone 명령어로 model을 받으면 용량이 큰..

프로젝트/local LLM deploy 2025.02.21
이전
1
다음
더보기
프로필사진

Hyojun Jeong, LLM Engineer

  • 분류 전체보기 (24)
    • 프로젝트 (6)
      • local LLM deploy (2)
      • ML 웹앱 배포 전주기 (4)
    • Radar & Matlab (6)
    • AWS (1)
    • 논문 리뷰 (1)
    • OS (3)
    • Vcs, Git (1)
    • Algorithm (1)
    • 분류 전 (4)

링크

  • - Github
  • - LinkedIn

Tag

serving, 문제 풀이, deploy, huggingface, Ollama, 코랩 공유, locally, vLLM, IFA, deepseek, WSL, 1.5b, local, 마운트, 코랩, git lfs, point colud, llm, depoly, 구글드라이브,

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

  • Github Link
  • LinkedIn

티스토리툴바