1,000만 토큰에서 attention이 막히는 진짜 이유: Prefrontal의 Latent Sparse Attention(LSA) 읽기
sparse attention은 "중요한 key만 본다"지만, 1,000만 토큰에서는 그 key를 고르는 일이 prefill 시간의 98%를 먹는다. Prefrontal의 LSA는 key를 의미 기준으로 묶어 고르는 비용 자체를 줄인다. 72.4배·9.2배 같은 숫자가 어떤 조건에서 나온 것인지, 1M 토큰 아래에서는 왜 거의 이득이 없는지까지 논문과 코드로 확인한다.
2026-11-04 확인. 이 글의 출발점은 저장해 둔 Threads 포스트다. 원문 캡션과 미디어는 옮기지 않았고 링크만 출처로 남긴다. 본문은 같은 날 읽은 Prefrontal 블로그("Accelerating Attention for Ultra-Long Context", October 2026 Research), arXiv 2610.42147 v1, 코드 저장소 Prefrontal-AI/latent-sparse-attention와 Prefrontal-AI/sglang을 기준으로 다시 썼다. arXiv API 기준 v1은 2026-10-30 17:59 UTC(2026-10-31 02:59 KST)에 올라왔고 primary subject는 cs.AI이며, 확인한 버전은 v1뿐이다. 논문 제목은 "Latent Sparse Attention: Towards Subquadratic Ultra-Long Context Attention"이다. 저자는 Kubicek, Caciolai, Peng(core), Sumant, Hoover, Greenlee, Battleday, Urban(ETH), Hoefler(ETH), Whittington(senior)이고, 소속은 Prefrontal AI(London)와 ETH Zurich다. 아래 속도·정확도 수치는 모두 저자 측 측정이다. 이 글은 H200에서 재현하지 않았다. 블로그와 논문의 소수점이 다르면 논문 값을 쓰고 차이를 적는다.
먼저 결론
10M 토큰에서 sparse attention이 느린 이유는 attention 곱셈 자체가 아니라, 어떤 key를 볼지 고르는 indexer다. 논문 §1과 Fig.2는 GLM-5.3-Flash의 글로벌 attention 레이어 하나, H200 한 장, 10M 맥락에서 마지막 32,768 query chunk를 prefill할 때 indexer가 그 레이어 prefill 시간의 98%를 쓴다고 적는다. 전체 추론 시간의 98%가 아니다.
LSA는 key를 L2 정규화하고 4:1로 pooling한 뒤, 학습된 64차원 index 공간에서 512-key block마다 Ward 병합으로 bucket을 만든다. bucket은 평균 8개, 최대 16개 key다. query는 key 전부가 아니라 bucket 대표(centroid)를 점수 매긴다. 이 한 단계가 Flat이다. 계층으로 쌓고 beam search를 쓰면 Tree이고, 그때만 indexer prefill이 O(T log T)가 된다. Flat은 query당 여전히 O(T)이고, 상수가 약 1/8로 작아질 뿐이다. 헤드라인 속도는 대부분 한 단계짜리 D-LSA(Flat)다.
큰 배율과 서빙에서 느끼는 배율은 다른 숫자다. Qwen-3.8-27B attention 레이어 하나, H200 한 장, 10M, bf16, 기준 FlashAttention-3에서 prefill은 72.4배다. GLM-5.3-Flash 자체 sparse indexer 대비 같은 조건의 레이어 prefill은 22.7배다. 블로그는 그 칸의 절대 시간을 1.51초에서 67ms로 적는다. 모델 전체 TTFT는 8× H200, SGLang, 요청 1개에서 Qwen 9.21배, GLM 2.24배다. H200 한 장은 레이어 측정이고 TTFT는 여덟 장이다. 1M에서 end-to-end는 Qwen 1.51배, GLM 1.09배이고 512k는 약 1.0배다.
기존 모델에는 indexer만 짧게 증류해 붙일 수 있다. D-LSA는 352M 토큰, 48k step이다. 처음부터 학습하는 N-LSA도 있다. 코드, 증류 가중치, SGLang 포크는 Apache-2.0이다. PaperTrail 키트는 CC BY 4.0이다. 논문 라이선스와 Qwen-3.8-27B, GLM-5.3-Flash의 모델 라이선스는 확인하지 않았다.
왜 sparse attention도 10M에서 느린가
Full attention의 prefill은 쿼리와 키가 함께 길어지면 O(T²)다. decode에서 토큰 하나를 만들 때 attention은 쌓인 key를 보므로 O(T)다. Sparse attention은 그중 k개만 실제 attention에 넣어, attention 쪽을 O(Tk)로 줄인다. 그 k개를 고르는 indexer가 모든 key를, 또는 4개짜리 block 전부를 여전히 채점하면 고르는 비용은 길이에 비례해 남는다.
논문 Fig.2는 indexer가 공짜였다면 그 sparse attention이 prefill에서 58배, decode에서 8.9배 더 빨라진다고 적는다. 98%의 분모는 위와 같다. GLM-5.3-Flash 글로벌 attention 레이어 1개, H200 1장, 10M, 마지막 32,768 query chunk의 prefill 시간이다.
이 문단의 마지막 문장은 해석이다. 10M에서 "attention이 느리다"를 행렬 곱만의 문제로 읽으면, indexer를 줄이지 않는 최적화는 그 레이어 prefill의 대부분을 건드리지 못한다.
full vs sparse vs LSA 한눈에
Full : query ──▶ [k1 k2 k3 … kT] 모두 계산 O(T) / query
Sparse : query ──▶ indexer가 [k1 … kT] 전부 채점 ──▶ top-k만 attention
(heads↓ dim↓ fp8, 그래도 O(T))
LSA Flat : query ──▶ bucket centroid ~T/8개 채점 ──▶ top-p bucket 펼침 ──▶ k개 key
LSA Tree : query ──▶ 상위 노드 ─▶ 하위 노드 ─▶ bucket (beam) ──▶ k개 key O(log T) / query
+ 항상 sink 4개 + 최근 window 512개
그림 1. 논문 그림을 복사하지 않고 다시 그린 개념도다. 작은 막대는 토큰 수가 아니라 채점 대상을 구분한다. Flat의 centroid 수는 약 T/8이라는 상수이고, O(T log T)는 Tree의 indexer prefill에만 해당한다.
선택 예산은 long-range key k=4,096에 sink 4개와 최근 window 512개를 더한다. GLM의 D-LSA Flat은 1M 아래에서 k=2,048을 쓴다. Flat이 centroid를 약 T/8개 보는 것은 bucket이 평균 8개 key이기 때문이다. 상수는 작아지지만 query당 비용은 O(T)다. Tree만 query당 centroid 수가 O(log T)이고, indexer prefill이 O(T log T)다. 그림의 top-p는 점수가 높은 bucket만 펼친다는 말의 자리다. 조사 노트는 그 p의 단일 숫자를 적지 않는다.
논문은 Tree가 decode에서 Flat을 앞지르는 지점을 요청 1개 기준 약 5M 토큰부터라고 하고, prefill에서 Flat을 앞지르는 것은 10M을 넘는 외삽이라고 한다. 100M에서 기준 sparse 대비 90배를 넘는 숫자도 그 외삽이다. 72.4배와 22.7배는 이 Tree가 아니라 Flat 쪽 결과로 읽는 것이 맞다.
LSA는 어떻게 key를 묶나
논문 §3의 절차를 조사 노트는 이렇게 요약한다.
- key를 L2 정규화한다.
- 4:1 pooling을 한다.
- 512-key cluster block마다 Ward agglomerative clustering으로 bucket을 만든다. bucket당 key는 평균 8개, 최대 16개다.
- 공간은 학습된 64차원 index space다.
- bucket cache에는 centroid와 위치 표가 들어간다.
위치가 아니라 의미로 묶기 때문에, 서로 떨어져 있는 관련 key도 한 bucket에 모일 수 있다. 이 문장은 그 절차에서 따라 나오는 읽기이고, 이 글이 따로 측정한 군집 품질은 아니다. 고정 크기 block은 블록이 클수록 관련 key 하나를 그 블록 안의 무관한 key와 같이 가져온다. 구성안은 이 비교를 부록 E.6으로 가리킨다. 승인된 구성안은 한번 묶인 block을 다시 고치지 않는다고 요약하지만, 조사 노트가 그 문장을 따로 인용하지는 않아서 여기서는 절차의 단위가 512-key block이라는 점만 사실로 적는다.
정밀도는 bf16이 KV, index, centroid에 쓰이고 Tree의 node centroid는 fp8이다.
| Flat | Tree | |
|---|---|---|
| 탐색 | bucket centroid를 한 단계로 전부 채점 | 상위 노드에서 하위 노드로 beam search |
| indexer 비용 | query당 O(T). 상수는 약 1/8 | query당 O(log T). indexer prefill은 O(T log T) |
| 헤드라인 | D-LSA 속도·정확도의 주 결과 | 별도 변형. decode는 약 5M부터 Flat을 앞지르고, prefill은 10M 초과 외삽 |
| 같이 볼 정확도 | 아래 표의 기본값 | GLM 10M RULER에서 Tree 55.8, Flat 66.8. LongBench v2에서 D-LSA(Tree)는 −8.3 |
10M에서 D-LSA(Flat) index는 레이어당 246 MiB다. 같은 조건에서 GLM sparse attention index는 331 MiB, QSA는 642 MiB다. 이 칸은 index다. KV cache는 별도이고, GLM 10M에서 레이어당 10 GiB다. CP8이면 rank당 1.25 GiB다. bucket cache는 rank마다 복제된다.
D-LSA와 N-LSA
| D-LSA | N-LSA | |
|---|---|---|
| 무엇을 학습하나 | 본 모델은 얼린다. 레이어마다 index projection W_Q, W_K(차원 64)와 온도 τ만 학습한다. 손실은 얼린 attention의 top-2,048 타깃에 대한 forward-KL | 모델 전체를 next-token prediction으로 학습한다. flat search만 쓴다 |
| 데이터 | 352M 토큰, 48k step. 문서 길이 16k–1M. 논문이 비교로 적는 DSA dense warm-up은 2.1B 토큰 | 약 0.5B 하이브리드. 100B 토큰을 4k에서, 이어서 12B 토큰을 128k에서 |
| 대상 모델 | 기존 모델에 indexer를 붙인다. 공개 가중치 d-lsa-weights-v1은 Qwen-3.8-27B와 GLM-5.3-Flash용 distilled map | 24 layer. 4번째마다 attention이고 나머지는 Gated DeltaNet |
| 검증 길이 | 레이어·TTFT 표는 512k, 1M, 10M. Qwen의 10M은 YaRN 40배, PaperTrail 10M은 42배로 광고 컨텍스트를 넘겨 측정 | 128k까지. flat만 |
| 결과 | 아래 속도·정확도 표. training-free PCA 변형도 있다. 그 변형의 Qwen GPQA는 −3.0이고, 노트는 CI ±4.5 안이라고 적는다 | val loss 1.085로 full attention 1.085와 같다. 논문의 SWA는 1.154, 블로그는 1.153이다. NSA 1.117, PISA 1.100. 128k에서 레이어당 forward+backward 1.6배, 64k에서는 1.1배. decay phase의 모델 전체는 1.24배. 128k peak memory는 레이어당 6.8 GiB 대 full attention 5.8 GiB |
N-LSA 가중치 README는 논문 자체 트레이너로 학습했고, 그 트레이너는 이 저장소에 없다고 적는다. 학습을 그대로 재현할 수 있는 범위는 그 문장만큼 제한된다. 이 문단은 저장소 README의 사실이다.
숫자로 보기
모두 저자 측정이다. 배율은 논문 값을 쓴다. 블로그만 절대 시간을 주면 그 사실을 칸에 남긴다. TTFT의 "약 498초", "약 202초"는 논문이 적은 기준 시간을 배율로 나눈 이 글의 계산이다. 4,582.2 / 9.21 ≈ 498이고 451.5 / 2.24 ≈ 202다. 논문이 LSA 쪽 절대 초를 따로 적은 값은 아니다.
| 항목 | 값 | 조건 |
|---|---|---|
| indexer가 차지하는 prefill 비중 | 98% | GLM-5.3-Flash 글로벌 attention 레이어 1개, H200 1장, 10M, 마지막 32,768 query chunk. 레이어 prefill 시간이지 전체 추론 시간이 아니다 |
| indexer가 공짜일 때의 추가 이득 | prefill 58×, decode 8.9× | 같은 Fig.2. 기존 sparse attention 대비 |
| 레이어 prefill, Qwen-3.8-27B vs full attention | 72.4× (1M: 8.2×) | 레이어 1개(projection+indexer+attention), H200 1장, bf16, 마지막 32k chunk, 기준 FlashAttention-3 |
| 레이어 decode, Qwen vs full | 42.5× (1M: 5.2×) | 토큰 1개, CUDA graph |
| 레이어 prefill, GLM vs 자체 sparse | 22.7× (블로그 절대 시간 1.51 s → 67 ms. 1M: 3.5×. 512k: 2.1×) | 같은 레이어 조건. 기준은 GLM의 DSA식 indexer. 논문 이름은 Block Sparse Attention (Flat)이고, key 4개짜리 block을 전부 채점한다 |
| 레이어 decode, GLM | 4.6× (1M: 1.3×) | 같은 비교 |
| B300 10M 레이어, Qwen | prefill 42.9× / decode 18.4× | B300 1장. 기준 TRT-LLM |
| B300 10M 레이어, GLM | prefill 12.5× / decode 5.2× | B300 1장. 기준은 위 GLM sparse |
| TTFT, Qwen | 9.21×. 기준 4,582.2 s. 나누면 약 498 s. Tree는 8.83×. 1M은 1.51× | SGLang, 8× H200, bf16, TP8+DCP8, 요청 1개, prefill chunk 32,768, 3회×출력 256토큰의 중앙값. H200 한 장이 아니다 |
| TTFT, GLM | 2.24×. 기준 451.5 s. 나누면 약 202 s. Tree 2.14×. 1M은 1.09×. 512k는 약 1.0× | 8× H200, CP8+DCP8+EP8. 같은 GLM을 TP8로 두면 TTFT 5.83× |
| TPOT, Qwen / GLM | 2.87× / 2.10× | 10M, 위 TTFT와 같은 서빙 조건 |
| B300 end-to-end, 10M | Qwen TTFT 5.7×, GLM TTFT 1.6× (CP8) | B300. Qwen TPOT는 1M에서 0.73×로 기준보다 느리다. 노트는 최적화된 baseline kernel이 빠진 각주를 가리킨다 |
| indexer 메모리, 10M, 레이어당 | D-LSA Flat 246 MiB, GLM SA 331 MiB, QSA 642 MiB | KV는 별도. GLM 10M 레이어당 KV 10 GiB. CP8이면 rank당 1.25 GiB. bucket cache는 rank마다 복제 |
| 선택 예산 | long-range k=4,096 + sink 4 + window 512 | GLM D-LSA Flat은 1M 아래에서 k=2,048 |
1M과 512k를 같이 보면 이득은 길이에 붙어 있다. 레이어 prefill만 봐도 Qwen은 1M에서 8.2배, 10M에서 72.4배다. GLM은 512k에서 2.1배, 1M에서 3.5배, 10M에서 22.7배다. 모델 전체 TTFT는 그보다 작아져 1M에서 1.09배와 1.51배, 512k에서 약 1.0배다. 72.4배를 제품의 TTFT로 읽으면 조건이 바뀐다. 이 문장은 표에 대한 해석이다.
정확도는 정말 그대로인가
짧은 벤치의 논문 Table 7은 D-LSA Flat 기준이다. Qwen은 MMLU-Pro −0.3, GPQA-Diamond −0.5다. GLM은 +0.3, +1.0이다. 둘 다 2점 안이다. MMLU-Pro는 2,000문항 stratified sample이고 GPQA-Diamond는 198문항이다. 블로그 표는 Qwen MMLU-Pro를 83.2에서 83.0, 곧 −0.2로 적는다. 논문 Table 7의 −0.3과 0.1점 차이이므로 본문은 논문 값을 쓴다.
LongBench v2에서 Qwen은 70.0에서 65.0이다. 문항은 60개이고 95% CI는 ±11.6이다. −5점은 그 구간 안이다. D-LSA(Tree)는 −8.3, GLM은 −1.7이다. 60문항에 ±11.6이면 한 자리 점수 차이를 우열로 읽기 어렵다. 이 문장은 구간 폭에 대한 해석이다.
RULER에서 Qwen D-LSA(Flat)는 1M까지 5점 안이고, 10M에서는 기준 59.9를 63.9로 앞선다. GLM은 2M–5M에서 최대 약 8점 뒤처지고 10M에서는 4점 안이다. 같은 GLM 10M에서 Tree는 55.8, Flat은 66.8이다. RULER는 1M까지 태스크당 100개, 1M을 넘으면 태스크당 20개다. 부록 A의 top-k oracle은 128k에서 k=512, 곧 key의 0.8%만 골라도 RULER 정확도의 98%를 유지한다고 적는다. oracle은 LSA가 그 정확도를 냈다는 뜻이 아니다.
Qwen-3.8-27B가 10M에 도달하는 경로는 YaRN 40배다. PaperTrail 10M은 42배다. 광고된 컨텍스트를 넘긴 측정이다.
PaperTrail은 저자들이 새로 만든 평가다. 3개 도메인, 논문 1,246편, 지어낸 fact trail이다. Qwen D-LSA(Flat)의 PaperTrail 10M은 29.1 대 기준 19.8이다. GLM은 블로그 기준으로 2M–10M에서 약 6–7점 뒤처진다. 새 평가라는 사실과 저자 측정이라는 사실을 같이 둬야 한다.
AIME와 MATH500의 점수는 조사 노트에 항목별 숫자가 없어 표에 넣지 않았다. 노트가 적지 않은 점수를 만들지 않기 위해서다.
한계와 아직 확인 못 한 것
- KV cache 저장 비용은 줄지 않는다. 논문 §5는 찾는 비용을 줄일 뿐 저장은 여전히 길이에 선형이라고 한다. GLM 10M에서 레이어당 KV는 10 GiB다.
- 1M 이하 end-to-end 이득은 작다. 512k TTFT는 약 1.0배다. B300에서 Qwen TPOT는 1M에 0.73배로 기준보다 느리다.
- Tree는 GLM에서 긴 구간 정확도가 떨어진다. 10M RULER는 Tree 55.8, Flat 66.8이고 LongBench v2의 D-LSA(Tree)는 −8.3이다.
- N-LSA는 약 0.5B, 128k, flat만 검증됐다. 트레이너는 저장소에 없다.
- 속도·정확도는 전부 저자 측정이고, 서빙 표는 요청 1개다. 독립 재현은 없다.
- SGLang 경로는
--disable-prefill-cuda-graph가 필요하다. 커널은 H200/B300용 CuTe DSL과 Triton fallback이고, attention은 기존 FA3가 index list를 page table로 읽는다. 병렬은 TP, EP, PP와 prefill·decode의 context parallelism이다. - 코드 두 저장소는 Apache-2.0이다. PaperTrail 키트는 CC BY 4.0이고, 조립된 데이터는 원 라이선스를 유지한다. arXiv 논문 라이선스와 베이스 모델 라이선스는 확인하지 않았다.
- 블로그와 논문의 소수점 차이, 곧 MMLU-Pro −0.2 대 −0.3과 SWA val loss 1.153 대 1.154는 논문 쪽을 본문에 썼다.
- 코드 저장소는 2026-10-27 09:52 UTC에 만들어졌고, 이 글을 확인한 시점의 마지막 push는 2026-11-03 18:37 UTC(2026-11-04 03:37 KST)다. SGLang 포크는 2026-10-29에 만들어졌고 기본 브랜치는
lsa, 태그는lsa-v0.1.0이다. 이미지는ghcr.io/prefrontal-ai/sglang:lsa-v0.1.0이고 B300용 이미지는 따로 있다. 릴리스에는 d-lsa-weights-v1, n-lsa-weights-v1, traces-v1, ruler-sources-v1, longdocs-locks-v1이 있다.
롱 컨텍스트 에이전트에 주는 의미
이 절은 해석이다. 새 측정값을 만들지 않고, 앞의 조건이 어디에 닿는지만 읽는다.
수 시간짜리 에이전트 세션, 대형 코드베이스, 긴 문헌처럼 1M을 실제로 채우는 워크로드에서만 레이어 배율과 TTFT 배율이 같이 커진다. 블로그가 동기로 든 EdgeBench, 곧 에이전트 최대 12시간과 Claude Opus 4.8의 200k 대 1M은 LSA 결과가 아니다. 지금 대부분의 200k–1M 사용에서는 TTFT가 512k의 약 1.0배, 1M의 1.09–1.51배라 체감이 작다. 10M의 9.21배(Qwen)와 2.24배(GLM)를 그 구간으로 가져오면 조건이 바뀐다.
같은 해석으로, 긴 문서에서 관련 위치를 찾는 일을 모델 밖 검색에서 모델 안 attention의 indexer로 끌어들이는 방향이라고 읽을 수 있다. 논문은 KV cache 압축이나 레이어 사이 index 공유와는 직교해서 결합할 여지가 있다고 주장한다. 그 결합의 측정값은 조사 노트에 없다.
실무에서 먼저 볼 항목은 네 가지다. 요청의 컨텍스트 길이 분포가 1M을 넘는가. 서빙 스택이 이 SGLang 포크를 받을 수 있는가. GPU가 H200 또는 B300인가. 비교가 단일 요청인가 배치인가. B300 1M의 0.73배는 세대와 기준 커널이 바뀌면 부호가 바뀔 수 있다는 저자 측 관찰이다.
직접 해보기
lsa-coarse-to-fine-toy.py는 numpy만 쓴다. 65,536개 key를 32차원에서 256개 topic 주변에 만들고 단위 벡터로 맞춘 뒤, 2단계 k-means와 beam search로 top-64를 근사한다. 첫 단계는 약 64개 key짜리 bucket이고, 둘째 단계는 bucket centroid를 32개 그룹으로 묶는다. 탐색은 그룹 4개, 그 안의 bucket 8개를 beam으로 고른다. brute-force top-64와 겹치는 비율을 query 50개의 평균으로 낸다. seed는 0이다. 이 설정은 스크립트 안의 설정이지 논문의 LSA 설정이 아니다.
2026-11-04에 이 환경에서 실행한 출력은 다음과 같다.
keys=65536 brute-force scores per query=65536
coarse-to-fine scores per query≈664 (1.0%), top-64 recall=0.82
query당 약 664번 채점하고, 이는 key 전체의 1.0%다. top-64 recall은 0.82다. 구성안이 적던 약 1.0%와 약 0.82와 같은 출력이다.
이 스크립트는 LSA가 아니다. Ward 병합도, 4:1 pooling도, 학습된 projection도 없다. coarse-to-fine으로 채점 횟수를 줄이면 top-k의 일부를 놓친다는 아이디어만 보여 준다. 실제 LSA를 돌리려면 H200급 GPU와 SGLang 포크가 필요하다. 태그는 lsa-v0.1.0이고 이미지는 ghcr.io/prefrontal-ai/sglang:lsa-v0.1.0이다. B300용 이미지는 따로 있다. 이 글은 그 경로를 실행하지 않았다.
사실과 해석
| 항목 | 판정 | 1차 출처와 범위 |
|---|---|---|
| 기존 sparse attention은 10M에서 시간의 98%를 선택에 쓴다 | 확인. 범위는 한정된다 | 논문 §1·Fig.2. GLM 레이어 1개의 prefill 시간. 전체 추론 시간이 아니다 |
| key를 의미 기반 계층 클러스터링하고, 큰 묶음에서 작은 묶음으로 탐색한다 | 확인. 뉘앙스가 있다 | 논문 §3. 주 결과는 1단계 Flat. Tree는 별도 변형 |
| O(T²)가 O(T log T)가 된다 | 부분 확인 | Tree의 indexer prefill에만 해당한다. Flat은 query당 O(T). Tree가 prefill에서 Flat을 앞서는 것은 10M 이상 외삽 |
| 10M, H200 1장, 레이어 prefill 72.4× / 22.7× | 확인 | 블로그 표와 논문 초록·§4.3. bf16, 마지막 32k chunk. 72.4×는 Qwen 대 full attention(FA3), 22.7×는 GLM 대 자체 sparse |
| end-to-end TTFT 9.2× / 2.2× | 확인. 조건이 필수다 | 논문 값은 9.21×와 2.24×. 8× H200, SGLang, 요청 1개. H200 한 장은 레이어 측정에만 해당한다 |
| MMLU-Pro·GPQA가 2점 이내 | 확인 | Qwen −0.3 / −0.5, GLM +0.3 / +1.0 (Table 7). 블로그의 Qwen MMLU-Pro −0.2는 논문과 0.1점 차이 |
| LongBench v2에서 Qwen −5, CI 안 | 확인 | 70.0 → 65.0. 60문항, 95% CI ±11.6 |
| D-LSA와 N-LSA | 확인 | 블로그와 논문 §3.3–3.4 |
| SGLang 통합 | 확인 | 플러그인과 포크 lsa-v0.1.0, Docker 이미지 |
| 코드·논문 공개 | 확인 | arXiv v1, 2026-10-30 UTC. 가중치 릴리스 d-lsa-weights-v1, n-lsa-weights-v1 등 |
| 라이선스 | 코드는 Apache-2.0 | PaperTrail 키트는 CC BY 4.0. 논문과 베이스 모델 라이선스는 미확인 |
해석으로 분리해 둔 문장은 세 가지다. indexer가 그 레이어 prefill의 대부분이면, attention 커널만 줄이는 최적화는 10M prefill의 본체를 비껴 간다. 72.4배와 9.21배는 같은 현상의 다른 경계다. 하나는 레이어 하나와 H200 한 장이고, 다른 하나는 8장 위의 모델 전체 TTFT이며 10M에서만 그 크기다. 1M 아래 경로에 10M 헤드라인을 붙이면 조건이 달라진다.
출처
- Threads 포스트. 글을 시작하게 한 저장 포스트다. 캡션과 미디어는 쓰지 않았다.
- Prefrontal 블로그, Accelerating Attention for Ultra-Long Context. October 2026 Research. 절대 시간 1.51초와 67ms, MMLU-Pro 83.2에서 83.0, SWA 1.153, EdgeBench 동기.
- arXiv:2610.42147. v1, 2026-10-30 17:59 UTC. 본문의 배율, Table 7, RULER, §5의 한계.
- Prefrontal-AI/latent-sparse-attention. Apache-2.0. 생성 2026-10-27 09:52 UTC, 확인 시점의 마지막 push 2026-11-03 18:37 UTC. 릴리스 d-lsa-weights-v1, n-lsa-weights-v1, traces-v1, ruler-sources-v1, longdocs-locks-v1.
- Prefrontal-AI/sglang. Apache-2.0. 생성 2026-10-29, 기본 브랜치
lsa, 태그lsa-v0.1.0. 이미지ghcr.io/prefrontal-ai/sglang:lsa-v0.1.0. - 토이 스크립트. 2026-11-04 실행. seed 0에서 query당 약 664회, key의 1.0%, top-64 recall 0.82.
- 배경으로 DeepSeek-V3.2의 DSA, arXiv:2512.02556. 본문은 DSA dense warm-up 2.1B 토큰과 GLM의 DSA식 indexer라는, LSA 논문이 적은 비교만 사용했다.
- 배경으로 BLASST, arXiv:2512.12087. 관련 sparse attention 문헌으로 구성안이 남긴 링크다. 이 글은 BLASST의 수치를 인용하지 않았다.
- RULER와 LongBench v2. 논문이 정확도 표에 쓴 벤치다. LongBench v2는 60문항, 95% CI ±11.6이다.