본문으로 건너뛰기
목록으로 돌아가기
기술
16 분

4비트 가중치가 디코드만 빠르게 하는 이유: W4A16과 연산 강도

W4A16은 가중치를 4비트로 두고 활성화는 16비트로 둔다. 토큰 하나는 메모리 대역폭 문제라 가중치 바이트가 줄면 짧아진다. 긴 프리필은 큰 GEMM이라 같은 감축이 FP16 텐서 연산을 줄이지 않는다. 표는 공개된 H100 피크에 올린 루프라인이며 GPU 측정이 아니다. 북마크의 "~3배"는 그 게시물의 주장으로 남긴다.

박효열 (Hyoyoul Park)
#LLM 서빙#양자화#W4A16#Roofline#AWQ#vLLM

2026-11-10 확인. 출발 링크는 인스타그램 게시물 p/Dfh0eZeD5SW다. 재생하지 않았고 캡션은 인용하지 않는다. 그 게시물의 "~3배"는 게시물의 주장으로만 적는다. 아래 숫자는 같은 날 연 1차 자료이거나, 그 자료의 공개 피크를 w4a16-roofline-toy.py에 넣은 값이다. 자료는 AWQ 논문 arXiv 2306.00978, GPTQ 논문 arXiv 2210.17323, MARLIN 논문 arXiv 2408.11743와 Marlin README, vLLM 양자화 문서와 INT4 W4A16 문서, H100 SXM 제품 사양, GH100 아키텍처 문서의 FP16 Tensor Core 표, Williams·Waterman·Patterson의 루프라인 논문(CACM 2009)이다. Llama 2 논문 arXiv 2307.09288에서는 70B 규모와 34B·70B의 GQA만 가져온다. 토이는 GPU 측정이 아니다. 확인된 사실과 이 글의 해석을 구분한다.

먼저 결론

W4A16은 저장된 가중치가 4비트 정수이고, 그 가중치와 곱해지는 활성화는 16비트 부동소수로 남는다는 뜻이다. 가중치를 펼친 뒤의 곱셈은 여전히 16비트다. 그 펼침을 레지스터 안에서 끝내는 커널이 아니라면 그렇다.

새 토큰 하나는 가중치 행렬을 읽고, 가중치 하나당 부동소수 연산 두 번(곱 하나, 더하기 하나)을 한다. 큰 밀집 모델에서는 그 이동이 시간을 지배한다. 가중치를 2바이트에서 0.5바이트로 줄이면 움직여야 하는 바이트가 줄고, 기계가 메모리를 기다리고 있었다면 토큰이 더 빨리 끝난다.

긴 프롬프트는 모양이 다르다. 같은 가중치 행렬을 여러 토큰이 한 번에 곱한다. GEMM 한 번에 행렬을 한 번만 읽는다면 바이트는 그대로다. FLOPs는 토큰 수와 함께 커진다. 능선을 넘으면 단계는 텐서 연산에 막히고, 더 가벼운 가중치 파일은 그 연산을 줄이지 않는다.

북마크의 "~3배"는 측정으로 쓰지 않는다. 팩된 4비트는 FP16 대비 가중치 바이트가 4배 준다. 그룹 크기 128은 가중치 128개마다 FP16 스케일 하나를 두므로 0.125비트가 더해지고, 16 / 4.125는 약 3.88이다. Marlin README는 그 이상적 비율을 3.87배라고 적는다. 논문은 그다음 다른 GPU, 다른 기준선에서 다른 비율을 측정한다. 그 숫자는 아래에서 논문의 결과로 인용한다.

토이는 공개된 H100 SXM 피크와, 행렬 곱 가중치 700억 개라는 가상 덩어리를 쓴다. 토큰 하나에서 FP16은 초당 23.929토큰, 그룹 4비트는 92.814토큰(3.879배)이다. 4096토큰에서는 퓨전된 모든 형식이 579.584 ms로 같고 배율은 1.000이다. 역양자화한 행렬을 DRAM에 다시 쓰는 경로는 토큰 하나에서 FP16보다 느리다(0.444배). 이 줄은 GPU에서 재지 않았다. FP16 덩어리는 140.000 GB이고, 이 토이가 쓰는 H100 SXM 사양은 80 GB라서 그 FP16 줄은 카드 한 장에 들어가는 모델이 아니다.

가중치 행렬 하나로 하는 두 가지 일

자기회귀 서빙은 요청을 프리필과 디코드로 나눈다. 프리필은 프롬프트를 소화한다. 디코드는 새 토큰을 하나씩 만들고, 새 토큰마다 가중치를 다시 지나친다. 배치를 채울까, 지금 보낼까는 그 토큰 몇 개가 포워드 한 번을 나누는지를 다룬다. 이 글은 가중치는 작아지고 연산량은 그대로일 때 포워드 한 번의 비용이 어떻게 되는지를 다룬다.

축약되지 않는 쪽의 토큰 수를 M이라고 부르자. 선형 층에서 M은 배치 크기 곱하기 시퀀스 길이다. 사용자 한 명, 새 토큰 하나면 M = 1이다. 사용자 한 명, 4096토큰 프롬프트, 프리필 GEMM 한 번이면 M = 4096이다. 디코드 배치 32는 시퀀스마다 토큰 하나씩이라면 M = 32다. 마지막 경우가 배칭 글과 겹친다. 그래도 큐가 아니라 행렬 곱 하나다.

디코드, M = 1:     W를 읽고, 가중치당 FLOPs 2, 행 하나를 쓴다
프리필, M이 큼:    W를 한 번 읽고, 가중치당 FLOPs 2 × M

GPTQ 논문은 생성 쪽을 그 말로 적는다. 한 번에 토큰 하나인 행렬-벡터 곱은 메모리 대역폭에 막히고, 커널은 압축된 가중치를 읽은 뒤 필요할 때 펼칠 수 있다. 같은 논문의 한계 문장이 나머지 절반이다. 당시 주류 GPU에는 INT4 가중치와 FP16 활성화를 더 빠른 곱으로 바꿔 주는 혼합 정밀도 피연산 경로가 없어서, 이 방법은 곱셈 자체를 빠르게 하지 않는다. 그들이 보고하는 가속은 더 적은 바이트를 옮긴 결과다.

AWQ 논문은 RTX 4090, 배치 1, FasterTransformer의 FP16 Llama-2-7B에서 같은 분할을 그린다. 그 온디바이스 프로파일에서 생성 단계는 컨텍스트 단계보다 훨씬 느리다. 논문의 루프라인은 165 TFLOPS와 1 TB/s를 쓰므로, 바이트당 165 FLOPs 아래인 워크로드는 그 GPU에서 메모리에 묶인다. FP16 생성은 바이트당 1 FLOP 근처에 있다. 그 그림에서 가중치 이동은 활성화 이동보다 자릿수가 크고, 그래서 가중치만 양자화하고 활성화는 16비트로 둔다.

연산 강도는 바이트당 FLOPs다

Williams, Waterman, Patterson의 루프라인(CACM, 2009년 4월)은 도달 가능한 성능을 연산 강도, 즉 일에 대한 메모리 트래픽의 비에 대해 그린다. 기계에는 피크 연산 속도와 피크 대역폭이 있다. 능선은 그 두 피크가 같은 시간을 가리키는 강도다. 능선 아래에서는 사양의 FLOPs가 커도 커널이 줄지 않는다. 능선 위에서는 FLOPs가 같다면 더 얇은 행렬도 시간을 줄이지 않는다.

이 글은 한 표의 한 칸에 같이 있지 않은 H100 SXM 숫자 두 개를 쓴다.

제품 사양의 H100 SXM 행은 FP16 Tensor Core 1,979테라FLOPS에 별표, 메모리 80 GB, 메모리 대역폭 3.35 TB/s다. 데이터시트는 그 별표를 "with sparsity"로 표시한다. GH100 아키텍처 표는 FP16 Tensor Core 피크를 989.4 TFLOPS와 1978.9 TFLOPS로 적고, 각주는 높은 쪽이 스파시티 기능을 쓴 유효 처리량이라고 한다. 그 스파시티는 2:4 구조적 패턴이다. 밀집 4비트 행렬은 그 패턴이 아니다. 토이는 그래서 밀집 열의 989.4 TFLOPS와, 제품 사양의 3.35 TB/s를 가져온다. 두 문서를 짝짓는 것은 이 글의 선택이다. 칩은 실제 커널이 어느 피크에 닿는다고 약속하지 않고, 백서 본문은 여전히 3.35가 아니라 "over 3 TB/sec"라고 말한다.

그 대역폭에 대한 밀집 FP16 텐서 연산의 능선은 다음과 같다.

989.4 TFLOP/s / 3.35 TB/s = 295.343284 FLOP/byte

토큰 M개, 가중치 모양 K × N인 층 Y = X W에서:

FLOPs = 2 × M × K × N
bytes = (가중치당 바이트) × K × N     # 가중치만
AI    = 2 × M / (가중치당 바이트)

K와 N은 약분된다. 강도는 층이 얼마나 넓은지에 기대지 않는다. 시간은 기대한다. 토이의 시간은 합이 아니라 루프라인의 최댓값이다.

time = max(FLOPs / peak, bytes / bandwidth)

최댓값은 커널이 메모리와 연산을 더 느린 쪽까지 겹치고, 공개된 피크에 실제로 닿는다고 가정한다. Marlin의 설계 절은 그 겹침을 실제로 만드는 이야기다. 이 토이는 그렇지 않다.

활성화, KV 캐시, w4g128 행에 이미 넣은 스케일 이외의 그룹 메타데이터, 런치 오버헤드, L2 재사용은 빠졌다. 작은 층에서는 활성화 바이트의 몫이 더 크다. 긴 디코드에서는 토큰마다 KV 캐시를 읽고, W4A16은 그 캐시를 줄이지 않는다. KV 캐시가 아키텍처를 바꾼다는 열린 config로 KV 바이트를 다시 계산한다. 이 글은 Llama 2 70B 캐시를 다시 계산하지 않는다. 그 논문의 arXiv HTML에서는 인용할 수 있는 히든 크기가 깨끗하게 나오지 않았고, 공식 config 요청은 401이었다.

4비트가 바꾸는 것, 스케일이 되돌리는 것

FP16은 가중치당 2바이트다. 팩된 4비트 가중치는 0.5바이트다. M토큰에서의 강도는 M에서 4M이 되고, 달리 저장하는 것이 없으면 가중치 트래픽은 4분의 1이 된다.

그룹 양자화는 그룹마다 스케일을, 종종 영점도 두어 한 스텝 크기가 행 전체를 덮지 않게 한다. GPTQ는 스케일을 FP16으로 두면 그룹 128이 약 0.15비트를 더한다고 적는다(16 / 128 = 0.125, 그들은 ≈ 0.15로 쓴다). Marlin README는 더 빡빡하다. 최적 3.87배는 "그룹 스케일의 0.125비트 저장 오버헤드"를 가리킨다. 4 + 0.125 = 4.125비트다. 16 / 4.125 = 3.8787…. README는 이를 3.87배로 반올림한다. 토이는 같은 비율을 소수 셋째 자리에서 반올림해 3.879를 찍는다. 측정이 둘인 것이 아니라 비율이 하나다.

AWQ가 스케일을 신경 쓰는 이유는 대역폭이 아니라 정확도다. 논문의 주장은, 가중치 크기가 아니라 활성화 분포에서 찾은 소수의 중요한 채널이 오차를 지배하고, 양자화 전에 그 채널을 키우면 혼합 정밀도 행렬 없이 그 채널을 지킬 수 있다는 것이다. 그 스케일링은 층의 동등한 다시 쓰기다. 루프라인이 아니다. 루프라인은 스케일을 저장한 뒤에 남은 바이트만 본다.

vLLM의 INT4 W4A16 문서는 이 압축이 맞는 서빙 모양을 적는다. 메모리를 낮추고, 초당 쿼리가 낮을 때 지연을 낮춘다. 예제 레시피는 Linear 모듈을 양자화하고 lm_head는 빼 둔다. 그렇게 만든 체크포인트는 "모든 파라미터가 4비트"가 아니다. 양자화 문서는 AWQ, GPTQ, Marlin을 서로 다른 행으로 둔다. Marlin은 커널이다. AWQ와 GPTQ는 정수를 고르는 방법이다. vLLM은 AWQ나 GPTQ 체크포인트를 Marlin 레이아웃으로 다시 쌀 수 있다. 그 페이지의 하드웨어 표는 Marlin을 Hopper에서 지원된다고 표시한다. Marlin 저장소의 요구 사항 줄은 여전히 Ampere 또는 Ada라고 하고, Hopper에는 아직 최적화되지 않았다고 한다. 두 문장 모두 2026-11-10에 연 페이지에 있었다. 이 글은 H100에서 어느 빌드가 더 빠른지 고르지 않는다.

역양자화는 트래픽 이득을 지울 수 있다

4비트 정수를 FP16으로 펼치는 일은 시프트, 마스크, 스케일이다. AWQ는 그 값으로 FMA를 한 번 하는 쪽에 대해, 시프트 하나, 비트 AND 하나, FMA 하나로 센다. CPU에서는 그 비율이 손해다. GPU에서는 그 명령이 레지스터에 남고 로드와 겹칠 때만 싸다.

구현은 두 가지다.

fused:  0.5바이트를 읽고, 레지스터에서 펼치고, 곱한다
naive:  0.5바이트를 읽고, 2바이트를 쓰고, 나중에 그 2바이트를 다시 읽는다

나이브 경로는 스케일을 세기 전에 가중치당 4.5바이트를 옮긴다. FP16의 2바이트보다 많다. 대역폭에 묶인 디코드는 더 빨라지지 않고 더 느려진다. 토이의 토큰 하나 행 w4_naive_dram은 루프라인 최댓값 아래에서의 그 비교다. 쓰기와 두 번째 읽기가 쓸모 있는 일과 겹치지 못한다면 이것도 아직 낙관이다. 겹칠 필요는 없다. 메모리 항만으로도 이미 FP16보다 나쁘다.

Marlin 논문은 퓨전된 설계다. 가중치는 압축된 채로 읽히고, 텐서 코어가 원하는 레지스터 레이아웃으로 펼쳐지며, 스케일은 메인 루프에서 적용된다. README는 최신 GPU의 FLOP 대 바이트 비율이 약 100에서 200이므로, 4비트 가중치당 텐서 코어 곱-누적이 25에서 50보다 적으면 줄어든 로드 뒤에 연산을 숨길 수 있어야 한다고 말한다. 그들의 A10 스케치에서 토큰 하나는 가중치당 2 FLOPs이고, GPU는 4비트 가중치 하나를 읽는 시간에 약 100 FLOPs를 할 수 있어서 균형이 배치 50 근처에 있다. 그 너머에서 커널은 연산에 묶이고 4배는 줄어든다.

같은 논문은 프리필에 나오는 아주 큰 입력에서, Marlin이 배치 1024까지는 압축되지 않은 연산-바운드 행렬 곱에 가깝고, 더 큰 모양에서는 약 10% 느리다고 한다. 그 10%는 논문의 관찰이지 이 토이가 아니다. 토이에는 역양자화 ALU가 없다. 양쪽이 연산에 묶이면 배율 1을 찍는다.

논문이 실제로 잰 것

아래는 논문의 결과다. 이 글은 다시 실행하지 않았다. 설정은 서로 바꿀 수 없고, 어느 것도 토이의 H100 루프라인이 아니다.

AWQ는 TinyChat 주변 산문에서, 데스크톱·랩톱·모바일 GPU에 걸쳐 시도한 LLM에 대해 Hugging Face FP16 구현 대비 평균 3.2–3.3배라고 적는다. Figure 1 캡션은 FP16 대비 3–4배의 성능 향상이라고 한다. 같은 절은 4비트 가중치 양자화가 "4배의 이론적 피크"로 이어질 수 있고, TinyChat은 그 메모리 감축을 측정된 가속으로 바꾸기 위해 있다고 말한다. 64 GB Jetson Orin 위의 Llama-2-70B는 그 논문의 용량 결과다. 이 글이 반복하는 초당 토큰 숫자가 아니다.

GPTQ의 약 3.25배는 4비트가 아니라 3비트 OPT-175B다. 양자화 모델을 A100 한 장에서 돌린 토큰당 평균 시간이, FP16을 GPU 다섯 장에서 돌린 것보다 그 정도 짧다. A6000의 4.5배는 GPU 두 장에서 130 ms, FP16은 GPU 여덟 장에서 589 ms다. 비교는 비트 폭과 함께 GPU 개수를 바꾼다. 3.25배를 "4비트가 GPU 한 장에서 3.25배 빠르다"로 읽는 것은 그 문단이 말하는 바가 아니다.

Marlin은 A10의 큰 행렬, 층 하나에서 배치 16–32까지 FP16 대비 약 3.9배이고, 배치 128에서는 문제가 연산에 묶이며 1.5배 쪽으로 내려간다. vLLM 안에서의 엔드투엔드는 배치 16에서 vLLM의 표준 정밀도 커널 대비 최대 2.8배다. 어텐션이 지배하지 않도록 시퀀스를 일부러 짧게 했다. README의 Llama-2-70B 줄, 그룹 128은 속도가 아니라 그들의 평가 하니스다. WikiText2 퍼플렉서티는 FP16 3.12, INT4 3.21이고 MMLU는 65.43과 64.81이다. 논문의 크기 그림은 같은 퍼플렉서티에서 양자화 모델이 약 3.33배 작고, 그 비트 폭과 그룹 크기의 이상은 3.87배라고 한다. 정확도 손실과 바이트 비율은 다른 열이다.

vLLM INT4 문서는, 같은 날 문서 색인을 통해 열었을 때, 이 방법을 낮은 QPS의 지연과 메모리에 묶는다. llm-compressor의 압축 스킴 가이드는 W4A16과 W8A16을 그룹 또는 채널 기준으로 약 3.7배 압축이라고 하고, 쓸모 있는 가속은 낮은 QPS 구간에 있다고 적는다. 그 3.7배는 가이드의 압축 표현이다. 디코드 가속이 아니고, Marlin의 3.87배도 아니다.

인스타그램의 "~3배"는 이 측정 평균들 중 일부와 같은 동네에 있고, 어느 것인지 가리키지 않는다. 이 글이 재생하지 않은 게시물의 주장으로 남긴다.

토이, 한계를 같은 숨에

w4a16-roofline-toy.py는 Python 표준 라이브러리만 쓴다. 위의 식을 파라미터 70 × 10**9개에 적용하고, 그 전부를 행렬 곱 가중치로 취급한다. Llama 2 논문은 "최대 70B 파라미터 규모"의 모델을 공개하고, 34B와 70B가 grouped-query attention을 쓴다고 말한다. 여기서 쓴 페이지는 히든 크기나 층 목록을 허가하지 않는다. 덩어리는 파라미터 수를 가중치 수로 쓴 것이다. 실제 체크포인트는 임베딩, 노름, 그리고 vLLM 레시피에서는 FP16 lm_head도 저장한다.

Python 3.12.3, 2026-11-10 실행 결과다.

ridge_dense_fp16_tensor=295.343284 FLOP/byte
params=70000000000  (70e9, every parameter treated as a matmul weight)
tokens kind           AI_FLOP/B     ms  regime  vs_fp16
     1 fp16                  1.000   41.791 memory     1.000
     1 w4                    4.000   10.448 memory     4.000
     1 w4g128                3.879   10.774 memory     3.879
     1 w4_naive_dram         0.444   94.030 memory     0.444
    16 fp16                 16.000   41.791 memory     1.000
    16 w4                   64.000   10.448 memory     4.000
    16 w4g128               62.061   10.774 memory     3.879
    16 w4_naive_dram         7.111   94.030 memory     0.444
    32 fp16                 32.000   41.791 memory     1.000
    32 w4                  128.000   10.448 memory     4.000
    32 w4g128              124.121   10.774 memory     3.879
    32 w4_naive_dram        14.222   94.030 memory     0.444
    76 fp16                 76.000   41.791 memory     1.000
    76 w4                  304.000   10.754 compute    3.886
    76 w4g128              294.788   10.774 memory     3.879
    76 w4_naive_dram        33.778   94.030 memory     0.444
   128 fp16                128.000   41.791 memory     1.000
   128 w4                  512.000   18.112 compute    2.307
   128 w4g128              496.485   18.112 compute    2.307
   128 w4_naive_dram        56.889   94.030 memory     0.444
   296 fp16                296.000   41.884 compute    1.000
   296 w4                 1184.000   41.884 compute    1.000
   296 w4g128             1148.121   41.884 compute    1.000
   296 w4_naive_dram       131.556   94.030 memory     0.445
  1024 fp16               1024.000  144.896 compute    1.000
  1024 w4                 4096.000  144.896 compute    1.000
  1024 w4g128             3971.879  144.896 compute    1.000
  1024 w4_naive_dram       455.111  144.896 compute    1.000
  4096 fp16               4096.000  579.584 compute    1.000
  4096 w4                16384.000  579.584 compute    1.000
  4096 w4g128            15887.515  579.584 compute    1.000
  4096 w4_naive_dram      1820.444  579.584 compute    1.000
crossover tokens where memory time meets compute time, weight traffic only:
  fp16             295.343
  w4               73.836
  w4g128           76.143
  w4_naive_dram    664.522
one_token_tok_per_s fp16=23.929 w4=95.714 w4g128=92.814 naive=10.635
weight_gb_decimal fp16=140.000 w4g128=36.094 h100_sxm_gb=80

벤치마크로 올리지 않고 몇 줄을 읽는 법이다.

토큰 하나에서 FP16은 41.791 ms, 그룹 4비트는 10.774 ms다. 둘 다 메모리다. 41.791 / 10.774가 찍힌 3.879다. 퓨전되지 않은 DRAM 경로는 94.030 ms로 FP16보다 느리다. 이 식 위에서의 역양자화-대-메모리 실패다.

토큰 32에서 그룹 4비트는 여전히 메모리에 묶여 같은 10.774 ms다. 이 모델은 GEMM 전체에 대해 가중치를 한 번 읽으므로, 연산이 따라잡을 때까지 메모리 쪽의 추가 토큰은 공짜다. 토큰마다 단계가 나뉘면 디코드 서버는 그렇게 동작하지 않는다. 배치된 GEMM 하나가 그렇게 동작한다. Marlin이 배치 16–32까지 측정한 3.9배는 A10 커널 결과다. 토이의 M = 32까지 평평한 10.774 ms는 H100 식이 방향에 동의하는 것이지 재현이 아니다.

토큰 128에서 FP16은 아직 메모리(41.791 ms)이고, 퓨전된 4비트 두 행은 연산으로 넘어가 18.112 ms다. 찍힌 배율은 2.307이고, 팩된 행과 그룹 행이 같아지는 것은 스케일 바이트가 더 이상 최댓값을 정하지 않기 때문이다. 토큰 296에서 FP16도 넘어가고, 퓨전된 모든 행이 41.884 ms와 배율 1.000을 찍는다. 토큰 4096의 프리필 크기 행은 모든 형식이 텐서 연산 579.584 ms다. 나이브 경로도 포함된다. 579.584 ms의 연산이 94.030 ms의 추가 트래픽보다 크기 때문이다. 긴 프롬프트는 이 루프라인에서 디코드 가속을 가져가지 않는다.

교차점은 FP16 295.343토큰, 팩된 4비트 73.836, 그룹 128은 76.143이다. 능선 × 가중치당 바이트 / 2다. Marlin의 배치 50 스케치가 아니다. 그 스케치는 A10급 FLOP 대 바이트 약 200과, 그 문장에서는 그룹 바이트를 빼 둔 4비트 가중치를 썼다.

초당 23.929토큰과 92.814토큰은 1초를 토큰 하나 시간으로 나눈 것이다. 가중치가 이미 그 GPU의 HBM에 있고, 토큰이 가중치를 옮기는 일 말고는 하지 않는다고 가정한다. 140.000 GB는 80 GB에 들어가지 않는다. 36.094 GB는 KV 캐시, 활성화, FP16으로 남긴 행렬 앞에서 들어간다. FP16 초당 토큰은 피연산자를 담지 못하는 장치의 천장이다. 같은 덩어리를 GPU에 나누면 GPU당 바이트가 바뀌고, 그 나눗셈은 파일에 없다.

이 글이 정하지 않는 것

배칭 글의 큐가 일을 하고 있다면 운영 서버가 M = 1에 오래 머무는 일은 드물다. M을 올리는 것이 메모리에 묶인 4비트 커널을 능선 쪽으로 걷는 방법이다. 능선 너머에서 W4A16을 유지하는 이유는 프리필의 초당 토큰이 아니라, 용량과 사지 않은 메모리다. vLLM의 낮은 QPS 문장과 Marlin의 배치 곡선은 서빙 문서와 커널 논문이 그린 같은 그림이다.

프리필과 디코드는 다른 커널일 수 있고, 배칭 글의 출처는 이미 프리필과 디코드의 분리를 vLLM 기능으로 적는다. 이 글은 그 분리를 어떻게 배포하는지는 적지 않는다. 두 단계가 가중치 바이트에서 같은 가속을 나누지 않는다고만 말한다.

양자화 오차는 실재하고 루프라인 밖에 있다. Marlin 자신의 Llama-2-70B 행은 WikiText2를 3.12에서 3.21로, MMLU를 65.43에서 64.81로 옮긴다. 그 간격이 괜찮은지는 제품의 질문이다. 토이에는 정확도 열이 없다.

사실과 해석

문장어느 쪽
W4A16은 활성화를 16비트로 두고 가중치를 4비트 정수로 저장한다. INT4 문서가 말하는 서빙 사례는 낮은 QPS의 지연이다. 예제 레시피는 lm_head를 뺀다.vLLM INT4 W4A16 문서. Hopper에서 Marlin을 표시한 하드웨어 표는 양자화 문서다. 둘 다 2026-11-10에 열었다.
생성은 메모리 대역폭에 묶인다. 보고된 3.25배는 3비트 OPT-175B를 A100 한 장에, FP16을 GPU 다섯 장에 둔 비교다. 4.5배는 A6000 두 장 대 여덟 장이다. 곱셈 자체는 더 빠르지 않다.GPTQ, arXiv:2210.17323. 재실행하지 않음.
RTX 4090 루프라인 165 TFLOPS, 1 TB/s. FP16 생성은 바이트당 1 FLOP 근처. TinyChat은 Hugging Face FP16 대비 평균 3.2–3.3배. 가중치 감축에서 오는 4배 이론 피크.AWQ, arXiv:2306.00978. 재실행하지 않음.
A10의 큰 층에서 배치 16–32까지 약 3.9배, 배치 128에서 1.5배 쪽. vLLM 엔드투엔드 배치 16에서 최대 2.8배. 아주 큰 모양에서는 연산-바운드 FP16 행렬 곱보다 약 10% 느림. README: 스케일 0.125비트, 이상 3.87배. Llama-2-70B WikiText2 3.12에서 3.21, MMLU 65.43에서 64.81. 저장소 요구 사항: Hopper에는 아직 최적화되지 않음.MARLIN 논문과 Marlin README. 재실행하지 않음.
H100 SXM: 스파시티 포함 FP16 Tensor Core 1,979 TFLOPS, 80 GB, 3.35 TB/s. 밀집 FP16 Tensor Core 피크 989.4 TFLOPS, 스파시티 기능 포함 1978.9.NVIDIA H100 제품 사양과 GH100 아키텍처 표.
Llama 2는 최대 70B 규모이고 34B·70B는 GQA를 쓴다.Llama 2 논문. 히든 크기는 가져오지 않음.
찍힌 표, 토큰 하나의 3.879배, 4096토큰의 1.000배, 나이브 경로 0.444배, 140.000 GB와 36.094 GB.이 토이, Python 3.12.3. GPU가 아님. FP16 덩어리는 80 GB에 들어가지 않음.
북마크의 "~3배". 토큰 하나 루프라인을 서빙 SLO로 쓰기. GPTQ의 3.25배를 4비트 단일 GPU 커널 결과로 읽기.하지 않음. 첫째는 게시물의 주장이다. 둘째와 셋째는 이 글이 넘어서는 일이다.

출처

  • 인스타그램. 링크만. 게시물은 재생하지 않았다. p/Dfh0eZeD5SW
  • Ji Lin 외, "AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration," arXiv 2306.00978. 3.2–3.3배 문장, 4090 루프라인, 4배 이론 피크는 그 논문의 것이다. 재실행하지 않음.
  • Elias Frantar, Saleh Ashkboos, Torsten Hoefler, Dan Alistarh, "GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers," arXiv 2210.17323. 3.25배와 4.5배는 GPU 개수가 다른 3비트 실행이다.
  • Elias Frantar, Roberto L. Castro, Jiale Chen, Torsten Hoefler, Dan Alistarh, "MARLIN: Mixed-Precision Auto-Regressive Parallel Inference on Large Language Models," arXiv 2408.11743. 저장소 README. 3.87배 주석, Llama-2 퍼플렉서티 표, Hopper 문장을 포함한다.
  • 2026-11-10에 연 vLLM 문서. 양자화, INT4 W4A16. 약 3.7배 압축 표현은 llm-compressor 압축 스킴 가이드의 것이다.
  • NVIDIA, H100 제품 사양, H100 SXM 행. 데이터시트 각주는 Tensor Core 피크를 스파시티 포함으로 표시한다. GH100 아키텍처 표: FP16 Tensor Core 989.4 TFLOPS와 스파시티 기능 포함 1978.9 TFLOPS.
  • Samuel Williams, Andrew Waterman, David Patterson, "Roofline: An Insightful Visual Performance Model for Multicore Architectures," Communications of the ACM, 2009년 4월. doi:10.1145/1498765.1498785
  • Hugo Touvron 외, "Llama 2: Open Foundation and Fine-Tuned Chat Models," arXiv 2307.09288. 70B 규모와 GQA에 사용. HTML 표에서 층 모양은 가져오지 않음.
  • w4a16-roofline-toy.py. 위에 인용한 줄은 2026-11-10 실행이다.
  • 배치를 채울까, 지금 보낼까, KV 캐시가 아키텍처를 바꾼다. 첫째는 배칭 축이다. 둘째는 이 토이가 빼 둔 KV 바이트다.