VLLM

vLLM
원저자스카이 컴퓨팅 연구소, 캘리포니아 대학교 버클리
개발자vLLM 기여자
발표일2023
안정화 버전
v0.30.0 / 2026년 9월 22일
저장소github.com/vllm-project/vllm
프로그래밍 언어파이썬, CUDA, C++, 러스트
종류대형 언어 모델 추론 엔진
라이선스아파치 라이선스 2.0
웹사이트vllm.ai

vLLM은 대형 언어 모델 및 관련 멀티모달 모델의 추론과 서비스를 위한 오픈 소스 소프트웨어 프레임워크이다. 본래 캘리포니아 대학교 버클리의 스카이 컴퓨팅 연구소에서 개발되었으며, 이 프로젝트는 트랜스포머의 키-값 캐시를 위한 메모리 관리 방식인 PagedAttention을 중심으로 구축되었다. 또한 연속 배치(continuous batching), 분산 추론, 양자화, 그리고 오픈AI 호환 API와 같은 기능을 지원한다.

역사

vLLM은 2023년 캘리포니아 대학교 버클리 스카이 컴퓨팅 연구소 소속 연구원들에 의해 처음 소개되었다. 이 시스템의 핵심 개념은 2023년 논문인 'Efficient Memory Management for Large Language Model Serving with PagedAttention'을 통해 발표되었으며, 이 논문은 vLLM을 대형 언어 모델을 위한 고처리량(high-throughput) 및 메모리 효율적인 서비스 엔진으로 제시했다.

프로젝트 유지보수자에 따르면, vLLM에서 'v'는 원래 가상 메모리에서 영감을 받아 "가상(virtual)"을 의미했다.

PyTorch 프로젝트 페이지에 따르면, 캘리포니아 대학교 버클리는 2024년 7월 vLLM을 리눅스 재단에 기증했다. 2025년, PyTorch 재단은 vLLM이 재단 호스팅 프로젝트가 되었음을 발표했다.

2026년 1월, 테크크런치는 vLLM 제작자들이 이 프로젝트를 상용화하기 위해 스타트업 '인퍼액트(Inferact)'를 설립하고 1억 5천만 달러의 시드 투자를 유치했다고 보도했다.

아키텍처

2023년 논문에 따르면, vLLM은 트랜스포머 추론 과정에서 사용되는 키-값 캐시 내 메모리 낭비를 줄여 대형 언어 모델 서비스의 효율성을 개선하기 위해 설계되었다. 해당 논문은 운영체제의 가상 메모리 및 페이징 기법에서 영감을 받은 PagedAttention 알고리즘을 도입했으며, 블록 단위의 메모리 관리와 요청 스케줄링을 통해 유사한 레이턴시를 유지하면서 처리량을 향상하는 시스템으로 vLLM을 설명했다.

프로젝트 문서와 저장소에 따르면 연속 배치, 청크 프리필(chunked prefill), 추론적 디코딩, 접두사 캐싱(prefix caching), 양자화, 그리고 다양한 형태의 분산 추론을 지원한다. PyTorch는 vLLM을 NVIDIA 및 AMD GPU, 구글 TPU, AWS 트레이니움(Trainium), 인텔 프로세서를 포함한 다양한 하드웨어 백엔드를 지원하는 고처리량, 메모리 효율적인 추론 및 서비스 엔진으로 설명하고 있다.

같이 보기

각주

  1. ↑ “vLLM - A High-Throughput and Memory-Efficient Inference and Serving Engine for LLMs”. UC Berkeley, Sky Computing Lab.
  2. 1 2 3 “GitHub - vllm-project/vllm: A high-throughput and memory-efficient inference and serving engine for LLMs”. 《GitHub》. GitHub, Inc. 2026년 4월 22일에 확인함.
  3. 1 2 3 4 5 Kwon, Woosuk; Li, Zhuohan; Zhuang, Siyuan; Sheng, Ying; Zheng, Lianmin; Yu, Cody Hao; Gonzalez, Joseph E.; Zhang, Hao; Stoica, Ion (2023). 《Efficient Memory Management for Large Language Model Serving with PagedAttention》. Proceedings of the ACM SIGOPS 29th Symposium on Operating Systems Principles. 2026년 4월 22일에 확인함.
  4. 1 2 3 4 “vLLM”. 《PyTorch》. PyTorch Foundation. 2026년 4월 22일에 확인함.
  5. ↑ “vLLM full name”. 《GitHub》. GitHub, Inc. 2023년 8월 23일. 2026년 4월 22일에 확인함.
  6. 1 2 “PyTorch Foundation Welcomes vLLM as a Hosted Project”. 《PyTorch》. PyTorch Foundation. 2025년 5월 7일. 2026년 4월 22일에 확인함.
  7. ↑ Temkin, Marina (2026년 1월 22일). “Inference startup Inferact lands $150M to commercialize vLLM”. 《TechCrunch》. 2026년 4월 22일에 확인함.

외부 링크