라이언 기록

  • 홈
  • 태그
  • 방명록

WSL 1

local llm 배포하기 - vllm & hugging face

목차0. wsl 설치 (window 한정)1. git lfs 설치2. llm 모델 선정 후 다운로드3. vllm 설치4. run0. wsl 설치vllm이 윈도우를 지원하지 않는 관계로 wsl 설치하여 ubuntu환경 세팅 필요powershell 관리자 권한 실행wsl --install 재부팅 후 다시 powershell을 켜고 wsl --install설치 완료후 powershell ~ wsl 입력하면 ubuntu 환경으로 들어가진다. wsl 최초 접속시 계정 비밀번호를 설정하는데 나중에 git lfs 설치할때 필요하니 메모 참조1: https://learn.microsoft.com/ko-kr/windows/wsl/install1. git lfs 설치git clone 명령어로 model을 받으면 용량이 큰..

프로젝트/local LLM deploy 2025.02.21
이전
1
다음
프로필사진

Hyojun Jeong, LLM Engineer

  • 분류 전체보기 (24)
    • 프로젝트 (6)
      • local LLM deploy (2)
      • ML 웹앱 배포 전주기 (4)
    • Radar & Matlab (6)
    • AWS (1)
    • 논문 리뷰 (1)
    • OS (3)
    • Vcs, Git (1)
    • Algorithm (1)
    • 분류 전 (4)

링크

  • - Github
  • - LinkedIn

Tag

문제 풀이, git lfs, llm, deploy, 마운트, point colud, 1.5b, huggingface, local, locally, 코랩, WSL, serving, 코랩 공유, IFA, vLLM, Ollama, depoly, deepseek, 구글드라이브,

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

  • Github Link
  • LinkedIn

티스토리툴바

단축키

내 블로그

내 블로그 - 관리자 홈 전환
Q
Q
새 글 쓰기
W
W

블로그 게시글

글 수정 (권한 있는 경우)
E
E
댓글 영역으로 이동
C
C

모든 영역

이 페이지의 URL 복사
S
S
맨 위로 이동
T
T
티스토리 홈 이동
H
H
단축키 안내
Shift + /
⇧ + /

* 단축키는 한글/영문 대소문자로 이용 가능하며, 티스토리 기본 도메인에서만 동작합니다.