태브로의 개발위키

  • 홈
  • 태그
  • 방명록

vllm #lora #어댑터 #llmops #모델 #서빙 1

vLLM LoRA adapter 띄우기

vLLM을 이용하여 LoRA Adapter 모델 서빙하기최근 업무를 진행하다가 vLLM을 이용해 LoRA Adapter 모델을 서빙해야 했던 상황이 있었다. 그런데 팀원이 base 모델 없이 LoRA Adapter의 경로만 전달해서 처음에는 약간 혼란스러웠다.LoRA Adapter를 vLLM에서 사용하기 위해서는 Base Model과 LoRA Adapter 모델 두 가지를 모두 명시적으로 제공해줘야 한다. 공식 vLLM 문서에서 관련된 내용을 찾긴 했지만, 실제 구현에 대한 레퍼런스가 부족해서 시행착오 끝에 성공한 내용을 공유하고자 한다.평소에는 주로 Kubernetes 환경에서 yaml을 통해 모델을 서빙했었는데, 이번 사례는 Docker 환경에서 작업을 진행했기 때문에 Docker 명령어 기반으로 설..

카테고리 없음 2025.03.12
1
더보기
프로필사진

안녕하세요

  • 분류 전체보기 (123)
    • 잡담 (1)
    • DL (11)
    • ML (4)
    • data analyze (0)
    • 주식 (0)
    • 통계 (2)
    • PRML (13)
      • chap1 (11)
      • chap2 (2)
    • 코딩테스트 (81)
      • 기초 (48)
      • 알고리즘 (2)
    • pytorch (1)

Tag

백준 #2439 #별찍기 # python, DBMS, 인사이드 #Inside #메타버스, 3052 #나머지 # python # 백준, 백준 # 10871 # python # for #if, 백준 # 2741 #python # for, aivle # aivle school # kt, vllm #lora #어댑터 #llmops #모델 #서빙, 백준 # python #while # 10952, 2577 #python #백준, 추천시스템 #추천 #코사인유사도 #맨하탄유사도 #협업필터링 #컨텐츠기반필터링, 백준 #15552번 #python #sys #기초,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/07   »
일 월 화 수 목 금 토
1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

  • 김태형

티스토리툴바