본문으로 건너뛰기
목록으로 돌아가기
기술
12 분

필요한 것만 다시 계산하고, 파스칼은 FP16에 넣지 않기

활성화 체크포인팅은 저장한 텐서를 버리고 역전파 때 다시 계산한다. KEAP는 Llama-488M에서 층 성분의 약 3분의 2만 다시 계산하고, 한 번의 학습에서 퍼플렉서티가 약 1.2–2.5% 오른다고 보고한다. 기상 모델 프리프린트는 해면기압을 파스칼로 두면 FP16에서 넘치므로 물리 상태는 FP32로 두라고 한다. 토이는 고정된 숫자 네 개와 binary16 변환기이며 두 논문이 아니다.

박효열 (Hyoyoul Park)
#KEAP#Activation Checkpointing#FP16#기상 모델#ERA5

2026-11-10 확인. 출발 링크는 인스타그램 게시물 p/Dfi0_JMTIfV와 p/DfjNl9oOkel/이다. 둘 다 재생하지 않았고 캡션은 인용하지 않는다. 같은 날 연 논문은 Danyal Ahmed, Edouard Oyallon, "Know What You Need: Efficient Activation Checkpointing," arXiv 2611.09614 (PDF v1, NeurIPS 2026)와 Stefan Siegert, "Half-precision inference of AI weather prediction models," arXiv 2611.09573이다. 후자의 페이지는 아직 동료 심사를 거치지 않았다고 적는다. 기상 논문의 코드 페이지는 sieste/ai-nwp-fp16이다. da462/KEAP의 GitHub API는 빈 저장소를 돌려줬다. size 0, 언어 없음, created_at과 pushed_at이 모두 2026-07-30이다. KEAP 코드는 실행하지 않았다. 토이는 recompute-fp16-range-toy.py다. Chen 등의 arXiv 1604.06174는, 전체를 다시 계산하면 역전파 연산이 약 3분의 1 더 들 수 있다고 KEAP 서론이 가리키는 체크포인팅 논문이다. 확인된 사실과 이 글의 해석을 구분한다.

먼저 결론

학습이 활성화를 저장하는 이유는 역전파가 그것을 쓰기 때문이다. 활성화 체크포인팅은 그 텐서의 일부를 버리고, 기울기가 도착하면 구간 안에서 포워드를 다시 돌린다. 두 번째 포워드가 정확하면 기울기도 같다. 청구서는 다른 손실이 아니라 추가 연산이다.

KEAP는 체크포인트를 유지하고, 다시 계산할 때 피드포워드나 어텐션 블록의 일부 조각만 다시 만든다. 논문 초록은 Llama-488M에서 성분의 3분의 2를 다시 계산하면 퍼플렉서티가 피드포워드 1.7%, 어텐션 1.2%, 둘 다 2.5% 오른다고 한다. Table 1의 토큰 단위 Top-k/n = 0.66 행이 반올림 전 숫자다. 488M 기준 퍼플렉서티 12.03이고, 세 설정은 12.23, 12.17, 12.33이며 표는 +1.66%, +1.16%, +2.49%로 찍는다. 각각 학습 한 번이다. 논문은 두 번째 시드나 실행 간 표준편차를 보고하지 않는다. 북마크가 가리킨 코드 저장소는 이 글을 확인한 날 파일이 없었으므로, 여기 숫자는 그 URL을 실행한 결과가 아니다.

기상 프리프린트는 다른 절약이다. Siegert는 공개된 AI 기상 모델 다섯 개의 네트워크를 FP16으로, 물리 상태는 FP32로 돌린다. 초록의 한계는 전 지구 RMSE 변화가 최대 1.4%이고, 다섯 모델 중 네 개는 약 0.5% 이하이며, 16 GB GPU 한 장에서 예보가 1.3–3.5배 빠르고 에너지는 1.4–3.7배 준다는 것이다. 같은 초록은 모델 전체를 한 번에 캐스팅하면 FP16에서 넘친다고 한다. Table 5가 이유를 파스칼로 적는다. 그 ERA5 상태의 해면기압 값은 전부 65,504보다 크고, 65,504는 FP16이 유한하게 나타낼 수 있는 최댓값이다. 저자는 한 사람이고, 페이지는 아직 동료 심사를 거치지 않았다고 한다.

아래 토이는 두 실험 모두 아니다. 정확한 재계산은 일치한다. 너비 4인 히든 벡터에서 작은 쪽 절반을 버리면 가중치 기울기의 상대 L2가 0.752773 움직인다. 101325 Pa와 논문의 105000 Pa는 이 변환기에서 둘 다 무한대가 된다. 같은 압력을 헥토파스칼로 쓴 1013.25는 유한하게 남는다.

체크포인팅이 실제로 아끼는 것

학습 스텝은 네트워크를 앞으로 돌리고 중간 값을 보관한 뒤 뒤로 걷는다. 중간 값이 활성화다. 그 메모리는 배치와 시퀀스 길이와 함께 커진다. 모델을 한번 올린 뒤의 가중치는 그렇지 않다.

Chen, Xu, Zhang, Guestrin이 적은 형태의 체크포인팅(arXiv:1604.06174)은 구간의 입력을 저장하고 구간 안에서 일어난 일은 버린다. 돌아올 때 그 구간 포워드를 저장된 입력에서 다시 돌리고, 국소 기울기를 구한 뒤, 다시 만든 활성화를 버린다. 두 번째 포워드가 첫 번째와 같은 함수이면, 기울기는 전부를 저장한 스텝과 같다. KEAP 서론은 그 거래의 연산 쪽을, 완전히 다시 계산하는 역전파에 대해 약 33% 추가로 두고, 다시 물질화하기 비싼 곳으로 선형 층을 가리킨다. 그들의 대조는 FlashAttention이다. 어텐션은 빠른 메모리 안에서 다시 계산할 수 있고 오버헤드는 작다. 큰 행렬 곱은 그 경우가 아니다.

근사 이전의 메모리 그림은 이렇다.

전부 저장:     입력 + 모든 중간 값
체크포인트:    구간의 입력만
역전파:        구간 포워드를 다시 돌린 다음 미분

그 두 번째 포워드는 구간 전체다. KEAP의 주장은, 합으로 쪼개지는 블록이라면 두 번째 포워드가 모든 성분을 필요로 하지는 않는다는 것이다.

KEAP 논문이 보고하는 것

Ahmed와 Oyallon, Sorbonne / CNRS, NeurIPS 2026. 방법은 첫 포워드에서 정보를 모으고, 다시 계산할 때 층의 성분 중 탐욕적인 top-k 부분집합이나 무작위 스케치를 남긴다. 스케치는 기울기의 비편향 추정량이 될 수 있다. 논문은 추정량을 합성하면 비편향이 자동으로 유지되지 않는다고 하고, 탐욕적인 top-k 규칙은 편향되어 있다고 취급한다. 절제 본문은 그 편향된 top-k도 정확한 기울기와 가깝게 맞고, 퍼플렉서티 표에서 무작위 스케치와 분산 최적 스케치를 이긴다고 한다.

본 모델은 Llama 스타일, 파라미터 488M, 히든 1280, 20층, 헤드 20, Llama-2 7B 토크나이저(어휘 32k), FineWeb, 배치 512, 시퀀스 길이 2048이다. 488M 실행은 9307스텝이고, 그들은 이를 자신들이 쓰는 Chinchilla 토큰 수로 9.76B 토큰이라고 계산한다. 134M 모델은 기울기 유사도 그림용이다. 평가는 학습에 쓰이지 않은 FineWeb 25M 토큰의 퍼플렉서티다. 학습은 H100 또는 A100 4장에서 BF16 혼합 정밀도다. 그 BF16은 학습 형식이다. 기상 논문의 FP16 추론 결과가 아니다.

Table 1, 토큰 단위, k/n = 0.66의 Top 행, Llama-488M 퍼플렉서티 12.03 대비:

KEAP를 적용한 곳PPL표의 ∆PPL
피드포워드12.231.66%
어텐션12.171.16%
둘 다12.332.49%

초록은 이 셋을 1.7%, 1.2%, 2.5%로 반올림한다. 같은 표의 배치 단위 top-k 열은 같은 비율에서 더 나쁘다(4.82%, 2.66%, 6.82%). 재계산 예산을 더 얇은 네트워크에 쓰는 계산량 맞춤 소형 모델이 다른 기준선이다. 토큰 단위에서 논문은 top-2/3가 그 소형 모델과 같거나 더 낫다고 한다. 표의 AC-FLOPs는 해석적 카운트다. 본문은 그것이 같은 벽시계 가속을 뜻하지 않는다고 한다.

부록 C는 953M 모델, 16층, 히든 2048, 헤드 32를 학습하고, 토큰 단위 top-2/3를 피드포워드에만 적용한다. 퍼플렉서티는 9.858에서 9.959로 움직이고, 그들은 이를 상대 1.02% 상승이라고 부른다. 학습률은 488M 밀집 실행에서 고른 값이며 다시 튜닝하지 않았다. H100 4장에서 그 953M 모델의 배치 단위 피드포워드 KEAP는 전체 체크포인팅 대비 스텝 시간을 18%(top-2/3)와 26%(top-1/3) 줄인다. 토큰 단위 선택은 더 정확한 표이자 더 불규칙한 커널이다. 두 문장은 입도가 다르다.

Figure 2는 134M 모델, top-1/3에서 정확한 활성화 기울기와 KEAP 활성화 기울기의 코사인 유사도를 그린다. 캡션은 기울기가 정렬된 채로 남고, 깊이에 따라 조금 떨어진다고 한다. 이 글은 그 캡션 너머의 숫자를 그림에서 읽지 않았다.

퍼센트 옆에 두어야 할 한계다. 헤드라인 모델은 488M이고 추가 실행은 953M이다. 실행 간 분산은 보고되지 않는다. 북마크의 GitHub 저장소는 이 확인 시점에 비어 있으므로, 퍼센트는 논문의 것이지 그 URL을 실행한 결과가 아니다. 결론의 향후 연구는, 더 잘게 나눈 구현이 FLOP 감축을 현재 가속기의 벽시계 속도로 바꾸는 일이 남았다고 명시한다.

FP16의 천장, 그리고 파스칼이 거기에 닿는 이유

IEEE binary16은 지수 5비트, 가수 10비트다. 유한한 최댓값은 65504다. 그 다음 한 ULP인 65520은 round-to-nearest-even에서 무한대로 반올림된다. Siegert의 2절은 같은 천장을 적는다. 65,504를 넘는 값은 나타낼 수 없어 무한대가 되고, 약 6.1 × 10^-5 아래 값은 정밀도를 잃는다. BF16은 FP32의 지수를 유지하므로 범위는 문제가 아니다. 가수가 더 짧아 반올림이 더 거칠다.

ERA5의 해면기압은 파스칼로 저장된다. 표준 대기는 101325 Pa로, 이미 65504보다 크다. Siegert의 Table 5, 2024년 ERA5 초기 상태 13개는 해면기압의 최대 크기를 1.05 × 10^5 Pa로, 65,504를 넘는 비율을 100%로 적는다. 지면 기압은 한계의 97%다. 400 hPa보다 위의 지위고도는 전부 넘고, 400 hPa 장은 81%가 넘는다. 켈빈 온도(그 표에서 최대 323 K, 314 K)는 들어간다. 넘침은 "날씨 숫자가 크다"가 아니라 단위다.

논문의 수정은 "상태를 BF16으로 두라"가 아니다. BF16은 1.05e5를 담을 수 있고, Table 5에서 물리 단위 해면기압의 RMS 반올림은 148 Pa다. 그들이 권하는 실행은 상태, 정규화, 역정규화를 FP32로 두고 네트워크만 FP16으로 캐스팅한다. 정규화 이후 Table 5의 해면기압 FP16 열은, 유한하게 남은 값에 대해 물리 단위 RMS 0.234다. 4.1절: 모델 전체를 FP16으로 바꾼 Aurora는 시험한 세 날짜에서 첫 6시간 스텝부터 유한한 장을 하나도 돌려주지 않는다. 정규화 전에 상태가 변환되기 때문이다. FourCastNet과 FastNet은 네트워크 밖에서 정규화하므로 같은 방식으로 맞지 않는다. SFNO의 전체 캐스트는 필터의 허수부를 버리는 다른 방식으로 실패한다.

상태를 FP32로 둔 네트워크 안에서는, 4.5절이 52개 날짜에서 어떤 모듈 출력도 넘치지 않았다고 한다. 최대 크기는 120(Pangu-Weather), 208(SFNO), 225(FastNet), 559(FourCastNet), 1733(Aurora)이고, 논문은 이를 65,504로 나누어 544, 315, 291, 117, 38배라고 한다. 그 배수는 논문의 것이다. 이 글은 다시 재지 않았다.

기상 논문이 잰 것, 그리고 스스로 거부하는 것

Stefan Siegert, University of Exeter. 저자 한 명. arXiv 페이지는 아직 동료 심사를 거치지 않았다고 한다. 모델은 Aurora 1.5(결정적 체크포인트와 앙상블 체크포인트), 공식 가중치의 서드파티 PyTorch 재구현인 Pangu-Weather 24시간 모델, FourCastNet v1, SFNO sfno_73ch_small, FastNet 1.1이다. 16 GB GPU 한 장. 2024년 초기 날짜 52개. 검증은 관측이 아니라 ERA5다. 네트워크는 FP16이다. 상태는 FP32로 남는다.

초록의 기술 문장: 전 지구 RMSE는 최대 1.4% 변하고, 다섯 모델 중 네 개는 약 0.5% 이하이며, 이는 8일까지 한 시간 미만, 10일에 최대 두 시간의 선행 시간과 맞먹는다. 속도 1.3–3.5배. 에너지 1.4–3.7배. 5절은 한계를 논문 자신의 말로 적는다. PyTorch로 16 GB에서 돌아가는 다섯 모델, 한 해, 관측이 아닌 ERA5, 몇 개 변수, 폭풍은 네 사례, 앙상블은 한 모델의 13일, 비용은 소비자 GPU 한 대와 PyTorch 한 버전. 논의의 권고는 네트워크를 FP16으로, 상태를 FP32로 돌리고, 모델마다 범위를 확인하라는 것이다. 여유가 10배 넘게 달랐기 때문이다.

저장소 README는 그 설정과 맞고, 코드와 점수의 Zenodo 아카이브를 가리킨다. 이 글은 예보를 다시 실행하지 않았다. 16 GB GPU, ERA5, 체크포인트는 토이 밖에 있다.

4비트 가중치가 디코드만 빠르게 하는 이유는 다른 정밀도 감축이다. 그 글은 정수 가중치를 저장하고 행렬 곱의 활성화는 16비트로 두며, 이득은 디코드의 메모리 대역폭이다. KEAP나 Siegert의 표 어디에도 W4A16 가속은 없다.

토이

recompute-fp16-range-toy.py는 Python 표준 라이브러리만 쓴다. 네트워크는 곱 네 개, h_i = relu(x_i w_i), 손실 0.5 × sum(h)다. 정확한 재계산은 x와 w에서 h를 다시 만든다. 선택 행은 가장 큰 3분의 2, 여기서는 4개 중 2개를 남기고 나머지를 기울기 전에 0으로 둔다. 그 규칙은 "일부 성분만 다시 계산한다"의 수업용 대용이다. 트랜스포머 위의 KEAP top-k가 아니고, 상대 L2는 퍼플렉서티가 아니다.

변환기는 round-to-nearest-even binary16이다. 이 기계에서 찍힌 입력 다섯 개에 대해 gcc의 _Float16 캐스트와 맞았다. Python 3.12.3, 2026-11-10:

checkpoint stored_full=9 stored_recompute=5 hidden_match=True
hidden=[0.5, 0.8, 0.9, 0.8]
selective keep=2/4 mask=[0, 1, 1, 0] kept=[0.0, 0.8, 0.9, 0.0]
grad_w full=[0.5, 1.0, 1.5, 2.0]
grad_w selective=[0.0, 1.0, 1.5, 0.0]
grad_rel_l2=0.752773
name value rounded finite
fp16_max 65504 65504 True
one_ulp_past_max 65520 inf False
std_atmosphere_pa 101325 inf False
paper_table5_msl_max_pa 105000 inf False
same_pressure_hpa 1013.25 1013 True

stored_full=9는 입력 네 개, 히든 값 네 개, 스칼라 출력을 센다. stored_recompute=5는 히든 벡터를 뺀다. hidden_match=True는 정확한 재계산이다. 선택 마스크는 가장 작은 히든 항목과 0.8 둘 중 하나를 버리고, 그 두 입력의 가중치 기울기는 0이 된다. 0.752773은 이 벡터에서 그 변화의 상대 L2다. 학습 결과가 아니다.

65504는 65504로 남는다. 65520은 무한대가 된다. 표준 대기 101325 Pa와 Table 5의 해면기압 최대 크기 105000 Pa는 둘 다 무한대가 된다. 그 표준 대기 압력을 헥토파스칼로 쓴 1013.25는 1013으로 반올림되고 유한하게 남는다. 차이는 단위 변환이다. 논문의 정규화 열은 모델 안의 같은 생각이다. 장의 스케일로 먼저 나누면, 16비트 네트워크는 파스칼을 보지 않는다.

사실과 해석

문장어느 쪽
체크포인팅은 저장한 입력에서 구간을 다시 계산한다. 전체를 다시 계산하면 역전파 연산이 약 3분의 1 더 들 수 있다. 선형 층은 다시 물질화하기 비싼 곳이다.KEAP 서론. Chen 등, arXiv:1604.06174와 FlashAttention과의 대조를 가리킨다.
Llama-488M, 토큰 단위 top-2/3: PPL 12.03 → 12.23 / 12.17 / 12.33 (+1.66% / +1.16% / +2.49%). 초록은 1.7%, 1.2%, 2.5%로 반올림한다. 953M 피드포워드만: 9.858 → 9.959 (1.02%). 배치 단위 스텝 시간은 H100 4장에서 전체 체크포인팅 대비 −18%, −26%.Ahmed, Oyallon, arXiv:2611.09614, Table 1과 부록 C/D. 재실행하지 않음. 두 번째 시드는 보고되지 않음.
KEAP GitHub URL에는 2026-11-10에 코드가 없었다.da462/KEAP의 GitHub API: size 0.
FP16의 유한 최댓값은 65,504다. Table 5에서 파스칼 단위 해면기압은 100%가 그 한계를 넘는다(최대 1.05e5). 모델 전체를 FP16으로 둔 Aurora는 세 날짜에서 첫 스텝부터 유한하지 않다. 상태를 FP32로 두면 모듈 출력은 넘치지 않았고, 가장 빡빡한 여유는 38배다. 전 지구 RMSE 변화는 최대 1.4%.Siegert, arXiv:2611.09573. 재실행하지 않음. 저자 한 명. 아직 동료 심사 전.
101325 Pa와 105000 Pa는 무한대가 된다. 1013.25는 유한하다. 정확한 재계산은 일치한다. 선택적 삭제는 이 토이의 기울기를 상대 L2 0.752773만큼 움직인다.이 변환기와 너비 4 네트워크, Python 3.12.3. KEAP가 아님. ERA5가 아님.

출처

  • 인스타그램. 링크만. 게시물은 재생하지 않았다. p/Dfi0_JMTIfV, p/DfjNl9oOkel/
  • Danyal Ahmed, Edouard Oyallon, "Know What You Need: Efficient Activation Checkpointing," arXiv 2611.09614, PDF v1, NeurIPS 2026. Table 1과 부록 C가 위에서 인용한 퍼플렉서티 행이다.
  • Tianqi Chen, Bing Xu, Chiyuan Zhang, Carlos Guestrin, "Training Deep Nets with Sublinear Memory Cost," arXiv 1604.06174. 체크포인팅 메커니즘. "약 33%" 문장은 KEAP가 그 거래를 요약한 것이다.
  • Stefan Siegert, "Half-precision inference of AI weather prediction models: negligible loss of skill at a fraction of the cost," arXiv 2611.09573. 저자 한 명. 페이지는 아직 동료 심사를 거치지 않았다고 한다. Table 5가 파스칼 넘침이다. 5절이 한계 목록이다.
  • sieste/ai-nwp-fp16. 2026-11-10에 README를 확인했다. Zenodo 기록은 그 README에 링크되어 있다. 예보는 다시 실행하지 않음.
  • da462/KEAP. 같은 날 GitHub API: 빈 저장소, size 0.
  • recompute-fp16-range-toy.py. 위에 인용한 줄은 2026-11-10 실행이다.
  • 4비트 가중치가 디코드만 빠르게 하는 이유. 다른 정밀도 거래: 디코드의 가중치 바이트이지, 학습 재계산도 기상 상태도 아니다.