본문으로 건너뛰기
목록으로 돌아가기
기술
12 분

배치를 채울까, 지금 보낼까: 추론 배칭 서비스의 처리량·지연 트레이드오프

배칭은 GPU의 고정비를 여러 요청에 나눠 처리량을 올리지만, 대기 한도는 지연 예산 안에서 정해야 한다. 길이가 다른 생성에서는 끝난 요청이 나머지를 붙잡지 않도록 iteration 단위로 배치를 다시 짜는 편이 맞다. 이 글의 표는 시드가 고정된 시뮬레이터이지 GPU 측정이 아니다.

박효열 (Hyoyoul Park)
#LLM 서빙#Dynamic Batching#Continuous Batching#vLLM#Triton#시스템 디자인

2026-11-05 확인. 출발 링크는 인스타그램 릴스 p/DfSuRekyL3e다. 홍보 게시물이다. 릴스는 재생하지 않았고 캡션은 인용하지 않는다. 같은 날 연 페이지는 NVIDIA Triton의 배처 가이드, Orca(Yu 등, OSDI '22)의 USENIX 페이지, vLLM 논문 arXiv 2309.06180(SOSP '23), 현재의 vLLM 문서 첫 페이지, 스케줄러 설정, 엔진 인자다. docs.vllm.ai의 PagedAttention 설계 노트는 역사적 문서이며 오늘 코드를 설명하지 않는다고 적혀 있다. 토이는 inference-batching-sim.py다. 출력된 숫자는 전부 시뮬레이션이다. 확인된 사실과 이 글의 해석을 구분한다.

먼저 결론

포워드 한 번에 배치 크기에 비례하지 않는 고정비가 있으면, 배칭은 처리량을 올린다. Triton의 다이내믹 배처는 그 생각의 요청 단위 형태다. 서버는 다른 요청이 합류하도록 max_queue_delay_microseconds까지 요청을 붙들 수 있고, 모델의 최대 배치보다 큰 배치는 만들지 않는다. 같은 가이드는 그 지연을 지연 예산 안에 있을 때만 올리라고 말한다. 예산을 넘기면 더 기다리는 것은 공짜 처리량 손잡이가 아니다.

생성이 끝나기 전까지 배치가 얼어 있으면 맞지가 않다. Orca의 OSDI '22 초록이 그 실패를 적는다. 먼저 끝난 요청은 돌아갈 수 없고, 새 요청은 배치 전체가 끝날 때까지 기다린다. 논문의 답은 iteration 단위 스케줄링, 즉 한 번에 모델 iteration 하나와, 선택적 배칭이다. Triton 배처 페이지도 "iterative sequences" 아래에서 continuous batching, iteration-level batching, inflight batching이라는 말을 같은 모양에 쓴다.

vLLM의 SOSP '23 논문은 그 배치를 얼마나 키울 수 있는지를 막는 메모리다. PagedAttention은 KV 캐시를 연속일 필요가 없는 고정 크기 블록에 두어, 요청마다 최대 길이를 미리 예약하지 않게 한다. 논문은 같은 지연에서 FasterTransformer와 Orca 대비 처리량 2–4배를 보고한다. 그 배수는 논문의 평가다. 이 글은 다시 돌리지 않았다.

아래 표는 다른 물건이다. t(b) = 20 + 2b 밀리초와 초당 250요청의 푸아송 도착을 가진, 시드가 고정된 이산 사건 모델이다. 출력 지연이 수십 초나 수백 초인 칸은 모델이 과부하인 칸이다. 그 칸은 서버의 p99가 아니다.

질문을 양으로 다시 쓰기

서빙 면접은 종종 더 가득 찬 배치를 기다릴지를 묻는다. 토이의 양은 도착률, 서비스 시간 t(b), 지연 목표다. t(b) = 20 + 2b 밀리초는 포워드마다 20 ms를 한 번 내고, 배치 안의 요청마다 2 ms를 더 낸다는 뜻이다. 고정항이 배칭이 나누는 부분이다. 한계항은 배치가 커져도 남는 비용이다.

요청 하나:     [ 고정 20 ms ][ +2 ms ]
크기 b 배치:   [ 고정 20 ms ][ +2 ms × b ]

모든 배치의 크기가 b이면, 모델의 완료율은 요청으로 치면 b / t(b)다. b = 1이면 t(1) = 22 ms이므로 상한은 초당 약 45요청이다. 토이의 도착률은 초당 250이다. 상한이 도착률보다 낮으면 큐는 실행 내내 자란다. 이 산술은 모델의 것이다. GPU 측정이 아니다. GPU에서는 고정비와 한계비가 다르고, 배치 1이 보통 22 ms 커널도 아니다.

다이내믹 배처 페이지가 실제로 말하는 것

2026-11-05에 연 NVIDIA 배처 가이드는, 다이내믹 배칭이 추론 요청을 서버에서 합쳐 배치를 동적으로 만들며 이것이 보통 처리량을 올린다고 말한다. 상태가 없는 모델용이다. 시퀀스 배처는 상태가 있는 모델의 별도 경로다.

그 페이지의 권장 절차는 짧다. 최대 배치 크기를 정한다. 기본값으로 다이내믹 배처를 켠다. 기본값은 그 최대까지 가능한 한 큰 배치를 만들고 지연하지 않는다. Performance Analyzer로 잰다. 지연이 아직 예산 안이면 최대 배치를 키우거나, 지연을 0이 아닌 값으로 두거나, 둘 다 해보고, 예산이 넘을 때까지 지연을 올려 처리량에 미치는 영향을 본다. preferred batch size는 대부분의 모델에서 쓰지 말라고 한다. 페이지가 든 예외는 특정 크기에서 최적화 프로파일이 훨씬 빠른 TensorRT 모델이다.

지연 설정의 이름은 max_queue_delay_microseconds다. 페이지의 예는 100마이크로초다. 최대 또는 선호 배치를 만들 수 없으면, 어떤 요청도 그 값보다 오래 지연되지 않는 동안에만 스케줄러가 배치를 붙든다. 그 대기 중에 도착이 그런 배치를 채우면 즉시 보낸다. 지연이 만료되면 그 크기 그대로 보낸다.

큐에는 별도 손잡이가 있다. max_queue_size가 큐를 제한한다. timeout_action, default_timeout_microseconds, allow_timeout_override는 너무 오래 기다린 요청을 거절하거나 미룬다. 우선순위 수준은 선택이다. 이 이름들은 그 자체로 지연 SLO가 아니다. 지연 예산을 언급하는 곳은 페이지의 튜닝 절차다. "모델 자신의 시간을 SLO에서 빼서 max_queue_delay_microseconds를 정한다"는 그 문단보다 한 걸음 더 간 이 글의 말이다. 페이지는 측정된 지연이 예산을 넘을 때까지 지연을 올리라고 말한다. 뺄셈은 주지 않는다.

시뮬레이터 1: 정책 여섯, 도착 하나

inference-batching-sim.py는 Python 표준 라이브러리만 쓴다. random.Random(1)이 밀리초당 0.25, 곧 초당 250의 지수 간격으로 도착 20,000개를 뽑는다. 가득 찬 배치는 마지막 멤버가 도착하면 시작한다. 짧은 배치는 첫 멤버의 max_wait까지 기다린다. 그다음 서비스는 20 + 2b ms이고, 그 서비스가 끝나기 전에는 다음 배치를 시작하지 않는다. 이 규칙은 파일의 것이다. Triton 스케줄러를 한 줄씩 옮긴 것이 아니다.

2026-11-05, Python 3.12.3, 한 번의 실행이 출력했다.

arrival=250 req/s, t(b)=20.0+2.0*b ms
max_batch max_wait   thr/s   p50ms   p99ms  avg_b
        1        0      45 180013.0 356160.3    1.0
        4        0     143 30052.6 59185.5    4.0
        8        5     222  5065.7  9715.4    8.0
       16       10     249    62.3   105.5    9.9
       32       20     249    61.9   101.9   10.0
       64       50     249    76.9   114.0   13.7

시드 때문에 이 표는 반복된다. 그래도 합성 트레이스 하나다. 첫 행의 초당 45요청은 상한 1000 / 22와 맞다. p50 180013 ms와 p99 356160 ms는 따라잡지 못하는 큐를 밀리초로 적은 것이다. 같은 과부하가 덜한 형태가 초당 143 행과 초당 222 행이다. 도착률 근처, 출력상 초당 249까지 가는 것은 마지막 세 행뿐이다.

그 세 행의 평균 배치는 9.9, 10.0, 13.7이지 설정한 최대 16, 32, 64가 아니다. 대기가 끝나기 전에 32를 채울 만큼 도착이 빠르지 않고, 평균으로는 10이다. 상한을 16에서 32로, 대기를 10 ms에서 20 ms로 올려도 처리량은 249에서 움직이지 않고, 출력된 p99는 105.5 ms에서 101.9 ms로 간다. 대기를 다시 50 ms로, 상한 64와 함께 올리면 처리량은 249에 남고 p50은 61.9 ms에서 76.9 ms로, p99는 101.9 ms에서 114.0 ms로 오른다. 이 모델에서는 서버가 일단 따라잡으면, 추가 대기는 평균 배치를 조금 키우고 지연은 나쁘게 한다. 이 문장은 여섯 행을 읽은 것이다. 운영 트래픽에 대한 주장이 아니다.

시뮬레이터 2: 얼어 있는 배치와 비는 슬롯

파일의 후반은 다른 단순화다. 길이 400개를 random.Random(2)로 {8, 16, 32, 64, 256}에서 뽑는다. 각 길이는 디코드 스텝 수다. 스텝 하나의 비용은 배치에 몇 시퀀스가 있든 1 ms다. 그 독립은 GPU에서 거짓이고, 비교가 커널 속도가 아니라 스케줄에 머물도록 파일에 적혀 있다.

정적 배칭은 길이를 16개씩 묶고 max(묶음) 스텝을 청구한다. 묶음의 모든 멤버는 묶음이 끝날 때 끝난 것으로 기록된다. 연속 배칭은 슬롯을 최대 16개 유지한다. 스텝마다 점유자를 1 줄인다. 0은 나가고, 대기 중인 길이가 같은 루프의 이후 iteration에서 그 슬롯을 차지한다.

정적:     묶음은 가장 긴 멤버가 끝날 때까지 기다린다
연속:     끝난 길이가 슬롯을 비우고, 다음 길이가 들어온다

같은 추첨이 출력했다.

    static: total 6176 ms, tokens/s 4912, mean completion 3167 ms
continuous: total 2040 ms, tokens/s 14871, mean completion 974 ms

14871 / 4912는 이 두 줄에서 약 3.0이다. 3167 / 974는 약 3.3이다. 두 비는 배치 크기에 따라 자라지 않는 스텝 비용 아래의, 이 추첨의 비다. Orca가 보고한 이득은 다른 시스템의 다른 숫자이고, 이 3배가 아니다.

Orca와 vLLM 논문이 더하는 것

2026-11-05에 연 Orca의 USENIX 페이지는 논문을 이렇게 요약한다. 자기회귀 생성은 출력 토큰마다 모델을 한 번 돌린다. 현재 배치를 바꿀 수 없는 스케줄러는 끝난 요청을 배치 안에 남겨 두고, 새 도착을 배치가 끝날 때까지 붙든다. iteration 단위 스케줄링은 엔진을 배치에 대한 모델 iteration 한 번으로 호출한다. 선택적 배칭은 일부 연산에만 배칭을 적용해, iteration 단위 스케줄링과 배칭을 함께 쓸 수 있게 한다. 시스템의 이름은 ORCA다. 페이지의 평가 문장은 GPT-3 175B에서 ORCA가 NVIDIA FasterTransformer를 지연과 처리량 모두에서 크게 앞설 수 있다고 말하고, 같은 지연 수준에서의 처리량 수치를 "36:9×"로 찍는다. 이 글은 PDF를 열지 않았으므로 그 토큰은 소수로 고치지 않고 HTML 페이지에 보이는 대로 인용한다. 페이지의 BibTeX는 논문을 OSDI '22, 2022년 7월, 521–538쪽으로 적는다.

vLLM 논문 "Efficient Memory Management for Large Language Model Serving with PagedAttention"은 SOSP '23, 2023년 10월 23–26일, 코블렌츠다. DOI는 10.1145/3600006.3613165다. 초록은 높은 처리량에는 충분히 큰 배치가 필요하고, KV 캐시는 크고 늘었다 줄었다 하므로 단편화와 중복 복사가 배치를 제한한다고 말한다. PagedAttention은 가상 메모리와 페이징에 비유한 어텐션 알고리즘이다. 그 위의 vLLM은 KV 캐시 메모리의 낭비를 거의 0으로 만들고, 요청 안과 요청 사이에서 그 캐시를 유연하게 공유한다고 말한다. 초록의 평가 주장은 같은 지연에서 FasterTransformer와 Orca 대비 처리량 2–4배이고, 시퀀스가 길수록, 모델이 클수록, 디코딩이 복잡할수록 더 그렇다는 것이다. 이 글은 그 평가를 다시 돌리지 않았다.

arXiv 초록 페이지에 렌더된 본문은 낭비에 대해 더 구체적이다. 기존 시스템은 프레임워크가 연속 텐서를 원하기 때문에 요청 하나의 KV 캐시를 연속 메모리에 두고 최대 길이를 미리 할당하며, 예로 2048토큰을 든다고 말한다. Fig. 2는 §6.2 실험에서 그 시스템들의 KV 캐시 메모리 중 실제 토큰 상태가 차지한 비율이 20.4%–38.2%뿐이었다고 설명된다고 적는다. PagedAttention은 요청을 토큰 수가 고정된 블록으로 나눈다. 블록은 연속일 필요가 없다. 논문의 대응은 블록이 페이지, 토큰이 바이트, 요청이 프로세스다. 같은 크기의 블록이 외부 단편화를 없앤다고 논문이 말하는 부분이다. 필요할 때 할당하는 작은 블록이 내부 단편화를 줄인다고 말하는 부분이다. 공유는 블록 단위다.

§4.3은 디코딩 iteration마다 시퀀스 집합을 고르고, 새로 필요한 논리 블록에 블록을 할당한 뒤, 그 iteration의 토큰에 대해 포워드를 한 번 돌린다고 말한다. 그것이 논문의 스케줄 문장이다. 제품 이름 "continuous batching"이 기능 목록으로 쓰이는 곳은 2023년 논문이 아니라 현재 vLLM 문서다. 같은 날 연 문서 첫 페이지는 "들어오는 요청의 continuous batching, chunked prefill, prefix caching"을 적고, 따로 "disaggregated prefill, decode, encode"를 적는다. Paged Attention이라는 설계 노트는 원 논문에 기반한 역사적 문서이며 오늘 vLLM의 코드를 설명하지 않는다고 경고한다. 같은 노트는 현재의 multi-head query 커널이 페이지드 KV 캐시와 호환된다고 말한다. 이 글은 오늘의 CUDA 커널을 설명하지 않는다.

체크리스트의 큐 쪽에 해당하는 현재 문서의 스케줄러 이름은 이렇다. max_num_seqs는 iteration 하나의 최대 시퀀스 수다. SchedulerConfig 페이지는 기본값 128이 주로 테스트 편의를 위한 것이고, 실제 사용은 EngineArgs.create_engine_config에서 정해야 한다고 말한다. 이 글은 128을 운영 기본값으로 다루지 않는다. max_num_queued_reqs는 동시에 떠 있을 수 있는 요청 수를 제한한다. 한도에 닿으면 새 요청은 HTTP 503으로 거절되어 클라이언트가 다른 곳에서 재시도할 수 있다고 문서는 말한다. 그것은 문서가 설명하는 백프레셔 밸브다. 이 글이 튜닝한 숫자가 아니다.

체크리스트

위 페이지와 시뮬레이터에서 뽑은 질문이다. 설정값이 아니다.

  • 지연 예산을 max_queue_delay_microseconds를 올리기 전에 안다. Triton 가이드는 측정 지연이 예산을 넘을 때까지 지연을 올리라고 말한다. 토이의 마지막 행은 "서버는 이미 따라잡고 있었고, 더 긴 대기는 p50과 p99만 나쁜 쪽으로 움직였다"의 시뮬레이션 버전이다.
  • 가득 찬 큐에는 동작이 있다. Triton은 max_queue_size와 timeout_action을 이름 댄다. vLLM 엔진 인자는 max_num_queued_reqs와 HTTP 503을 이름 댄다. 한계 없는 큐가 토이 첫 행들을 분 단위 지연으로 보낸 방법이다.
  • preferred_batch_size는 첫 손잡이가 아니다. Triton 페이지는 대부분의 모델에서 설정하지 말라고 말한다.
  • 다이내믹 배처는 상태가 없는 모델용이다. 다음 토큰에서 같은 요청으로 돌아가야 하는 생성은 Orca가 말한 iteration 단위 문제이고, Triton 페이지의 iterative sequence 절이다.
  • prefill과 decode는 분리될 수 있다. vLLM 문서는 disaggregated prefill, decode, encode를 현재 기능으로 적는다. 이 글은 그 분리를 어떻게 배포하는지는 적지 않는다.
  • 두 번째 시뮬레이터의 3배 토큰 속도는 Orca의 수치도, vLLM의 2–4배도 아니다. 그것들은 논문 평가다. 3배는 배치 크기를 무시하는 스텝 비용 모델의 두 줄이다.

사실과 해석

문장구분
다이내믹 배칭, max_queue_delay_microseconds, preferred_batch_size, 모델 최대 배치, 지연 예산 튜닝 절차, 큐 크기와 타임아웃 동작2026-11-05에 연 Triton 배처 가이드
iteration 단위 스케줄링, 선택적 배칭, 조기 종료와 늦은 도착의 실패, FasterTransformer 대비 GPT-3 175B의 "36:9×" 문장Orca USENIX 초록 페이지. PDF는 열지 않음
PagedAttention, 연속 최대 길이 예약에서 오는 단편화, Fig. 2의 실제 토큰 상태 20.4%–38.2%, FasterTransformer와 Orca 대비 2–4배vLLM 논문, arXiv:2309.06180 / SOSP '23. 평가는 다시 돌리지 않음
현재 문서: continuous batching, chunked prefill, prefix caching, disaggregated prefill/decode/encode. 페이지드 KV 캐시는 유지되고 설계 노트는 역사적이라고 표시. max_num_queued_reqs와 HTTP 503같은 날 연 docs.vllm.ai. max_num_seqs 기본값 128은 테스트 편의로 문서화됨
여섯 행 표와 static/continuous 줄이 시뮬레이터, 시드 1과 시드 2, Python 3.12.3. GPU 아님
모델이 도착을 따라잡은 뒤, 이 표에서 더 긴 max_wait은 처리량이 아니라 지연을 산다. 대기를 SLO에서 뺄셈으로 정한다표와 Triton 튜닝 문단을 이 글이 읽은 것

출처