본문으로 건너뛰기
목록으로 돌아가기
스터디
14 분

KV 캐시가 아키텍처를 바꾼다: MHA에서 GQA·MLA·하이브리드까지, 2026년 10월 오픈 LLM 읽기

2026년 10월의 오픈 모델 셋은 KV 캐시를 서로 다른 방식으로 줄인다. 모든 층에 GQA를 두는 방식, 잠재 캐시에 희소 인덱스를 더하는 방식, 대부분을 컨볼루션으로 두는 방식이다. config와 맞는 토큰당 수치는 여기서 다시 계산했다. Mistral Large 4에 대해 갤러리가 적은 80.75 KiB는 그 config와 맞지 않아 계산 결과로 쓰지 않는다. 토이의 하이브리드 행은 가상의 구성이다.

박효열 (Hyoyoul Park)
#LLM#어텐션#GQA#MLA#KV 캐시#MoE

2026-11-05 확인. 출발 링크는 Threads 글 DfUhEsfAXRP다. 출처 표시만 한다. 그 글의 문장은 어떤 숫자에도 쓰지 않았다. 같은 날 연 갤러리는 Sebastian Raschka의 LLM Architecture Gallery다. 같은 날 연 공식 페이지는 Muse Spark Open 모델 카드, Mistral Large 4 모델 카드와 그 config.json, Hugging Face 글 Welcome Le Chonk(2026-10-29), LFM3-1.7B 모델 카드와 그 config.json, Liquid AI의 Hugging Face 글(2026-10-27)이다. Muse Spark Open의 config.json은 HTTP 401이었다. 공식 행은 unsloth/llama-2-7b, unsloth/Llama-3.1-8B(_name_or_path는 meta-llama/Llama-3.1-8B), deepseek-ai/DeepSeek-V3이다. 공식 Meta Llama 저장소는 401이었다. 연 논문은 GQA와 DeepSeek-V2다. 토이는 kv-cache-calculator.py다. 희소 어텐션에 대한 앞 글은 1,000만 토큰에서 attention이 막히는 진짜 이유다. 확인된 사실과 이 글의 해석을 구분한다.

먼저 결론

여기서 연 페이지에 드러나는 설계 차이는, 새 토큰이 저장해야 하는 key-value 상태의 크기다.

그룹드 쿼리 어텐션은 2023년 논문에서 key-value 헤드를 하나보다 많이, 쿼리 헤드보다는 적게 둔다. 멀티헤드 잠재 어텐션은 DeepSeek-V2 초록에서 KV 캐시를 잠재 벡터로 압축한다. 하이브리드 스택은 일부 층만 전체 어텐션 상태를 저장한다. Muse Spark Open, Mistral Large 4, LFM3-1.7B가 각각의 예이고, 한계는 아래에 있다.

문서에서 연 공식과 맞는 숫자는 둘이다. Muse Spark Open 모델 카드는 62층, key-value 헤드 16, 헤드 차원 64다. bf16으로 모든 층이 전체 key와 value를 저장하면 토큰당 248 KiB다. LFM3의 config.json은 어텐션 층 11개, key-value 헤드 4, 헤드 차원 128이다. 그 층 전부를 전체 길이로 치면 토큰당 22 KiB다. 같은 파일은 그중 다섯 층에 슬라이딩 윈도 256을 두므로, 22 KiB는 그 상한을 무시한다.

갤러리 숫자 하나는 맞지 않는다. Raschka 갤러리는 2026-10-29자 1T 모델에 토큰당 80.75 KiB를 찍는다. 같은 날 연 Mistral Large 4 config는 72층이 전부 잠재 512와 RoPE 키 64를 저장하면 81.0 KiB이고, kv_source_layers의 서로 다른 항목 63개만 세면 70.875 KiB다. 둘 다 80.75가 아니다. 이 글은 80.75를 계산 결과로 채택하지 않는다.

토이의 하이브리드 행은 가상의 구성이다. 공개된 체크포인트가 아니다.

공식 하나

멀티헤드와 그룹드 쿼리 어텐션에서 토큰은 모든 층, 모든 key-value 헤드에 key와 value를 저장한다.

bytes/token = layers × 2 × kv_heads × head_dim × bytes

bf16은 2바이트다. 헤드 차원은 config에 head_dim이 있으면 그 값이고, 없으면 hidden_size / num_attention_heads다.

멀티헤드 잠재 어텐션은 DeepSeek-V3 config와 DeepSeek-V2 초록에서 압축된 KV를 유지한다. 토이는 잠재 랭크와 분리된 RoPE 키를 층 수와 2바이트에 곱한다. qk_nope_head_dim이나 v_head_dim은 곱하지 않는다. 그 필드는 DeepSeek-V3 config에 있다. 이 공식에서는 잠재 위에 더하지 않는다. 그 선택은 이 글이 쓰는 공식이다. DeepSeek-V2 초록의 "KV 캐시를 잠재 벡터로 압축한다"와 같은 모양이다. 논문의 수식 블록에서 베낀 줄은 아니다. 수식 블록은 복사하지 않았다.

슬라이딩 윈도는 합계를 바꾸고, 토큰당 라벨은 바꾸지 않은 채 두면 안 된다. 윈도 층은 min(window, context) 위치를 저장한다. 글로벌 층은 문맥을 저장한다. 그 합을 "토큰당 KiB"라고 부르면 윈도가 없다고 치는 것이다.

열린 config 세 개의 모양

kv-cache-calculator.py가 공식을 적용한다. Python 3.12.3, 2026-11-05:

variant                                        KiB/token  GiB@32k
MHA  llama-2-7b config (32L, 32kv, d128)           512.0    16.00
GQA  Llama-3.1-8B config (32L, 8kv, d128)          128.0     4.00
MLA  DeepSeek-V3 config (61L, c512+r64)             68.6     2.14
Hybrid 3:1 SWA4k/global (hypothetical)           (total)     1.38

MHA 행은 unsloth/llama-2-7b다. 그 config는 32층, 어텐션 헤드 32, key-value 헤드 32, hidden_size 4096이다. 그래서 여기서 쓴 헤드 차원은 4096/32 = 128이다. 파일에는 head_dim 필드가 없다. 공식 meta-llama config는 HTTP 401이라, 이 행은 그 저장소가 아니라 Unsloth 파일이다.

GQA 행은 unsloth/Llama-3.1-8B이고 _name_or_path는 meta-llama/Llama-3.1-8B다. 파일은 32층, 쿼리 헤드 32, key-value 헤드 8, head_dim 128이다. 쿼리 32에 key-value 8은 GQA 논문의 의미에서 그룹드 쿼리 어텐션이다. key-value 헤드가 하나보다 많고 쿼리 헤드보다 적다. ".1"이 없는 Llama-3-8B라는 이름의 config는 열지 않았다.

MLA 행은 deepseek-ai/DeepSeek-V3다. num_hidden_layers 61, kv_lora_rank 512, qk_rope_head_dim 64. 61 × (512 + 64) × 2 = 70272바이트 = 68.625 KiB이고 출력은 68.6이다. 32,768토큰에서는 2.14 GiB다. DeepSeek-V2 초록은 MLA가 KV 캐시를 압축하고, DeepSeek 67B와 비교해 KV 캐시를 93.3% 줄이며 최대 생성 처리량을 5.76배로 올린다고 말한다. 그 두 배수는 논문의 비교다. 이 글은 다시 돌리지 않았고, 68.6 KiB 행이 아니다.

하이브리드 행은 Llama-3.1-8B의 어텐션 차원을 만든 배합에 넣는다. 윈도 4096인 층 24개와 글로벌 층 8개, 문맥 32768이다. 1.38 GiB는 그 문맥에서의 캐시 합계라서, 토큰당 칸은 KiB 대신 (total)이라고 적는다. 이 배합을 쓰는 체크포인트는 없다. 파일의 라벨은 hypothetical이다.

10월 카드, 그리고 갤러리가 더한 것

Muse Spark Open

meta-models/Muse-Spark-Open-816B-A42B의 모델 카드는 Muse Spark Open을 총 816B, 활성 42B, 문맥 1M의 오픈 웨이트 모델이라고 말한다. 카드의 릴리스 날짜는 2026년 10월 15일이다. 언어 모델 블록은 히든 8192, 62층, QK-norm이 있는 게이트드 어텐션, 쿼리 헤드 128과 key-value 헤드 16, 헤드 차원 64, 전문가 256, 토큰당 활성 전문가 8을 적는다.

62 × 2 × 16 × 64 × 2바이트 = 253952바이트 = 248 KiB/token

248 × 1024 × 32768 / 2^30 = 32k 토큰에서 7.75 GiB다. 모든 층이 전체 문맥을 저장할 때의 순진한 수치다. Muse Model License, 날짜 2026-10-15, 어휘 202,048, 같은 전문가 수를 가진 갤러리 카드의 248 KiB와 맞다.

그 갤러리 카드는 어텐션이 로컬만 RoPE이고 글로벌은 NoPE인 게이트드 GQA이며, 3:1 슬라이딩 윈도/글로벌, 슬라이딩 46층과 글로벌 16층이고, 전문가 경로가 8,192에서 4,096으로 압축된다고도 말한다. 그 문장들은 연 모델 카드에 없다. 같은 저장소의 config.json은 HTTP 401이라 layer_types를 읽지 못했다. 46+16 분할과 8192에서 4096으로의 압축은 갤러리 문장으로 남는다. 여기서 확인되지 않았다. 윈도 층 46이 사실이라면 248 KiB는 긴 문맥의 캐시를 크게 본다. 이 글은 고치려고 윈도 크기를 지어내지 않는다.

Mistral Large 4

mistralai/Mistral-Large-4-1T-A52B 모델 카드는 1조 파라미터 모델로 시작하고, "토큰당 활성 490억(임베딩과 출력층을 포함하면 520억)"이라고 말한다. 같은 카드의 나중 항목은 "~총 1T / 활성 ~52B"라고 하고, 라우팅 전문가 128, 토큰당 4개 활성, 공유 전문가 1개를 설명한다. 두 표현 모두 카드에 있다. 이 글은 하나를 골라 다른 하나를 지우지 않는다. 카드는 문맥이 1M이고 입력이 텍스트와 이미지라고도 말한다.

2026년 10월 29일자 Hugging Face 글은 총 약 1T, 활성 49B라고 한 뒤, 이 글이 쓰는 구조를 준다. 72층, 히든 6144, 헤드 64, MLA와 최대 2048개 키를 고르는 DeepSeek Sparse Attention 인덱서, 층 사이 KV 공유, RoPE 대 NoPE가 3:1, 첫 층은 dense, 나머지 71층은 128개 중 4개와 공유 전문가 1개의 MoE. 글은 비전 인코더가 1.6B Pixtral이라고도 말한다. config.json은 셀 수 있는 부분과 맞다. num_hidden_layers 72, kv_lora_rank 512, qk_rope_head_dim 64, index_topk 2048, index_n_heads 32, index_head_dim 128, n_routed_experts 128, num_experts_per_tok 4, n_shared_experts 1, no_rope_layer_interval 4, first_k_dense_replace 1, max_position_embeddings 1048576, 어휘 204800. 그 파일의 비전 블록은 30층, 히든 2048, 헤드 16이다. 이 글은 그 가중치를 더해 블로그의 1.6B를 검산하지 않았다.

kv_source_layers는 항목 72개, 서로 다른 값 63개다. 0..71 중 아홉 인덱스는 나타나지 않는다. 빠진 것은 39, 43, 47, 51, 55, 59, 63, 67, 71이다. 여러 항목이 층 35를 가리킨다.

72 × (512 + 64) × 2 = 82944바이트 = 81.000 KiB/token
63 × (512 + 64) × 2 = 72576바이트 = 70.875 KiB/token

갤러리는 72 MLA/DSA 층, top-2048 선택, 인덱스 재사용, KV 공유가 있는 2026-10-29 카드에 80.75 KiB를 찍는다. 80.75는 81.000도 70.875도 아니다. 토이는 80.75를 채택하지 않는 갤러리 수치로만 출력한다. 80.75 KiB에 32k 토큰을 곱하면 약 2.52 GiB다. 81.0 KiB 줄은 2.53 GiB다. 차이는 모델 옆에서는 작고, 그래도 맞지 않은 검산이다. 여기서 닫지 않은 가능성: RoPE 키의 다른 바이트, 다른 층 집합, 이 스크립트가 쓰지 않는 반올림. 가능성은 발견이 아니다.

LFM3-1.7B

모델 카드는 파라미터 1.73B, 24층이라고 말한다. 게이트된 짧은 컨볼루션 13, 슬라이딩 윈도 어텐션 5, 글로벌 어텐션 6이다. 문맥은 256K 토큰, 어휘 128,000, 라이선스는 LFM Open License v1.0이다. 카드의 표는 "GQA"라고 말하지 않고 릴리스 일도 주지 않는다. Hugging Face 블로그 글의 날짜는 2026년 10월 27일이고, 배합이 게이트된 짧은 컨볼루션 13, 윈도 256의 슬라이딩 층 5, 글로벌 층 6이며, 커널 크기 7, 헤드별 시그모이드 게이트, 글로벌 층의 부분 RoPE, 윈도 층의 전체 RoPE, 샌드위치 놈이라고 말한다.

config.json은 그 글과 맞다. layer_types는 conv 13, sliding_attention 5, full_attention 6이다. num_attention_heads는 16, num_key_value_heads는 4, head_dim은 128, sliding_window는 256, conv_L_cache는 7, use_sandwich_norm은 true이고, full attention의 RoPE 블록은 partial_rotary_factor를 0.5로 둔다. 쿼리 16에 key-value 4는, 모델 카드 표가 그 단어를 쓰든 아니든 GQA다.

11 × 2 × 4 × 128 × 2 = 22528바이트 = 22 KiB/token

그 22 KiB는 갤러리가 찍는 값이고, 윈도 층 다섯을 글로벌로 취급하면 나오는 값이다. 실제로는 그렇지 않다. 윈도를 적용하면 32,768토큰에서 글로벌 여섯 층은 전체 문맥을, 윈도 다섯 층은 256위치를 가진다. 그 합의 토이 총량은 0.38 GiB다. 순진한 22 KiB × 32k는 0.69 GiB다. 작은 쪽이 config를 따른다. 그래도 측정된 할당기가 아니라 config 위의 산술이다.

확인하지 않은 이름

갤러리 페이지에는 이 셋보다 많은 카드가 있다. 그 페이지의 텍스트 추출은 카드 제목 대부분을 떨어뜨렸으므로, 이 글은 2차 요약의 10월 명단을 그 카드에 붙이지 않는다. 위 셋 외의 모델에는 파라미터 수를 주지 않는다. 그 요약의 Kolibri, Ling, Nemotron, Dory, Reflection, Flint, MiniMax 이름은 확인 없이 반복하지 않고 뺀다.

이것이 아닌 것

"이 설계들이 답하는 것이 KV 캐시다"라는 문장은 읽기이다. GQA 논문 자신의 목표는 멀티헤드에 가까운 품질의 추론 속도다. DeepSeek-V2 초록에서 MLA의 목표는 더 작은 KV 캐시와 더 높은 처리량이다. LFM3 카드의 목표는 로컬 에이전트용 작은 모델이다. 목표는 셋이다. 캐시에서 만나고, 같은 목표는 아니다. 그 만남은 이 글의 프레임이다.

희소 선택은 관련된 절단이고, 같은 절단은 아니다. Mistral Large 4 config는 index_topk를 2048로 두어, 쿼리가 과거의 모든 토큰을 점수 매기지 않는다. 1,000만 토큰에서 attention이 막히는 진짜 이유는 다른 희소 방식인 latent sparse attention과, 어떤 key를 점수 매길지 고르는 비용을 다룬 이 사이트의 글이다. 이 글은 그 글의 시간을 다시 재지 않는다. 연결은 링크다. DSA의 top-2048과 LSA의 잠재 그룹이 같은 알고리즘이라고 말하지 않는다.

사실과 해석

문장구분
Llama-2-7B 모양 32 / 32 / 32와 hidden 4096. Llama-3.1-8B 모양 32 / kv 8 / head 128. DeepSeek-V3 61층, 잠재 512, RoPE 키 64위에 이름 댄 config. 공식 Meta Llama 저장소는 401. Llama-2의 헤드 차원 128은 4096/32
GQA는 중간의 key-value 헤드 수다. MLA는 KV 캐시를 압축한다. 93.3%와 5.76배는 V2 논문이 DeepSeek 67B와 비교한 값arXiv:2305.13245와 arXiv:2405.04434 초록. 다시 실행하지 않음
Muse Spark Open: 816B / 42B, 2026-10-15, 1M, 62층, 쿼리 128 / KV 16, 헤드 64, 전문가 256, top 8. 순진한 KV 248 KiB모델 카드와 산술. config.json은 401
Muse에 대해 갤러리만: 슬라이딩 46 + 글로벌 16, 로컬 RoPE / 글로벌 NoPE, 전문가 경로 8192에서 4096그 날짜와 라이선스의 갤러리 카드. 모델 카드에는 없음
Mistral Large 4: 카드의 토큰당 49B와 임베딩 포함 52B. 위에 적은 config 수치. 순진한 81.0 KiB와 63소스 70.875 KiB모델 카드, 10월 29일 블로그, config.json
그 모델의 갤러리 80.75 KiB갤러리에 인쇄됨. 재현되지 않음
LFM3-1.7B: 1.73B, 13 / 5 / 6 배합, 256K, 윈도 256과 KV 헤드 4를 포함한 config 필드. 순진한 22 KiB. 32k에서 윈도를 적용한 총량은 0.38 GiB모델 카드, 10월 27일 블로그, config.json
하이브리드 1.38 GiB가상. 체크포인트 아님
이 세 설계는 주로 KV 캐시에 대한 답이다이 글의 프레임

출처