빠른 칩만으로는 못 이긴다: CUDA가 엔비디아의 해자인 이유
2006년 11월 8일 엔비디아는 GeForce 8800과 함께 CUDA를 발표했다. 해자로 읽을 수 있는 것은 칩의 병렬성 자체가 아니라, 그 뒤로 쌓인 프로그래밍 모델과 라이브러리, 그리고 PyTorch의 ROCm 빌드도 torch.cuda라고 말하는 기본값이다. 개발자 수와 점유율은 확인일에 1차 자료로 열리지 않아 쓰지 않는다.
2026-11-05 확인. 출발 링크는 인스타그램 글 DfKxBMatLOG다. fetch는 시간이 초과되었다. 캡션은 복원하지 않았고 인용하지 않는다. 같은 날 연 페이지는 2006년 11월 8일 엔비디아 보도자료의 아카이브, Wikipedia CUDA, cuDNN 논문, 엔비디아의 CUDA Toolkit 13.5 릴리스 노트, 2026년 11월 4일자 엔비디아 개발자 블로그, PyTorch 2.15의 CUDA 노트와 HIP 노트, Triton README, 2023년 9월 19일 UXL Foundation 발표다. Reuters 페이지는 HTTP 401이라 그 글의 숫자는 쓰지 않는다. CUDA 프로그래밍 가이드는 시간이 초과되어 인용하지 않는다. 토이는 cuda-moat-cpu-toy.py이고 56줄이다. GPU를 쓰지 않는다. 확인된 사실과 이 글의 해석을 구분한다.
먼저 결론
병렬 하드웨어는 엔비디아만의 것이 아니다. 여기서 확인한 기록은 날짜가 있는 소프트웨어 층이다.
2006년 11월 8일 엔비디아는 CUDA가 그날 GeForce 8800에서 쓸 수 있다고 발표했고, GPU용 C 컴파일러를 내세웠으며, SDK는 등록 개발자 프로그램을 통해 이미 받을 수 있다고 적었다. Wikipedia는 그 뒤의 공개 SDK 날짜를 2007년 2월 15일, Windows와 Linux로 적고, 인포박스의 릴리스 날짜는 2007년 2월 16일이다. 두 문장은 다르다. 이 글은 둘을 하나로 합치지 않는다.
라이브러리는 두 번째 층이다. cuDNN 논문 arXiv:1410.0759는 딥러닝 기본 연산의 라이브러리를, BLAS가 선형대수 기본 연산의 라이브러리인 방식으로 설명한다. 2026-11-05에 연 docs.nvidia.com의 CUDA Toolkit 13.5 릴리스 노트는 구성 요소 표에 cuBLAS를 넣는다. PyTorch CUDA 노트는 torch.backends.cuda(cuBLAS)와 torch.backends.cudnn을 모두 이름 댄다.
프레임워크 기본값은 세 번째 층이다. PyTorch HIP 노트는 ROCm 빌드가 의도적으로 torch.cuda를 다시 쓴다고 말하고, 장치 문자열 'rocm'과 'hip'은 유효하지 않다고 적는다. 같은 인터페이스는 기존 CUDA 모양 코드를 옮기는 방법이고, 동시에 다른 스택이 CUDA의 이름을 달고 나타나는 방법이기도 하다. 두 읽기는 이 글의 것이다. 노트의 문장이 확인된 부분이다.
그 층을 해자라고 부르는 것은 전환 비용에 대한 판단이다. 이 글에는 그 단어에 붙일 개발자 수나 점유율이 없다. Reuters URL은 401이었고, 엔비디아의 개발자 센서스는 열지 않았다. 숫자는 일부러 뺐다.
2006년에 발표된 것과 2007년에 나온 것
Internet Archive에서 연 보도자료의 제목은 "NVIDIA Unveils CUDA™-The GPU Computing Revolution Begins"다. 날짜와 장소는 산타클라라, 2006년 11월 8일이다. CUDA가 그날 새 GeForce 8800에서, 그리고 이후의 Quadro에서 쓸 수 있다고 말한다. GPU용 C 컴파일러를 처음이라고 부른다. CUDA를 켠 GPU는 스레드 프로세서로 돌 수 있고, "수천 개의 계산 프로그램, 곧 스레드가 함께 일한다"고 적는다. CUDA Software Developers Kit은 등록 개발자 프로그램을 통해 현재 받을 수 있다고 적는다.
같은 보도자료는 이 접근이 전통적 방법보다 "최대 100배 빠르게" 문제를 풀 수 있다고 말한다. 그 절은 보도자료의 문장이다. 이 글은 그 비교를 실행하지 않았고, 100배를 측정값으로 다루지 않는다.
같은 날 연 Wikipedia CUDA 항목은 첫 SDK가 2007년 2월 15일 Windows와 Linux용으로 공개되었다고 말한다. 인포박스의 릴리스는 2007년 2월 16일이다. 11월 8일 발표와 2월 공개 SDK 문장은 둘 다 맞을 수 있다. 하나는 개발자 프로그램을 통한 제공이고, 다른 하나는 Wikipedia가 적는 공개 SDK 날짜다. 2007년 다운로드 페이지는 열지 않았으므로 2월 날짜는 Wikipedia의 것으로 남긴다.
인포박스는 원 작성자로 Ian Buck과 John Nickolls를, 라이선스를 독점(proprietary)으로, 만든 해를 2004로 적는다. 연혁 절은 엔비디아가 2004년에 Buck을 영입하고, Buck의 스탠퍼드 언어 Brook을 CUDA로 만들기 위해 John Nickolls와 짝지었다고 말한다. 그 문단은 Business Insider 프로필을 인용한다. 프로필은 열지 않았다. 2004년 영입은 이 글이 확인한 전기가 아니라, Wikipedia 연혁 절의 기록으로 적는다.
2006년 발표의 인용으로 쓰이던 엔비디아 뉴스룸 URL은 이제 그 발표를 보여 주지 않는다. 여기서 쓴 사본은 위의 archive.org 캡처다. 프로그래밍 가이드 fetch는 시간이 초과되었으므로, 아래의 grid·block·warp는 그 가이드에서 인용한 것이 아니다.
Wikipedia는 그대로였고 버전 번호는 움직였다
2026-11-05 fetch에서 Wikipedia 인포박스의 안정판은 13.4.1, 날짜는 2026년 9월 9일이었다. 같은 날 docs.nvidia.com은 제목이 CUDA Toolkit 13.5인 릴리스 노트를 내놓았고, 2026년 11월 4일자 엔비디아 개발자 블로그의 제목은 "NVIDIA CUDA 13.5 Brings NVIDIA Vera Rubin GA Support"였다. 그 블로그 페이지는 요약 블록을 AI가 생성한 것으로 표시한다. 이 글은 날짜와 제목의 버전을 블로그에서, 구성 요소 목록을 릴리스 노트에서 가져온다. AI 요약을 기능 목록으로 다루지 않는다. 툴킷 자체는 내려받지 않았다.
13.5 노트는 구성 요소 표에 cuBLAS를 넣는다. 다른 라이브러리도 많이 넣는다. 아래에서 쓰는 문장은 "cuBLAS가 13.5 툴킷 노트에 있다"이다. 13.5가 누구나 설치한 유일한 빌드라는 말은 그 두 페이지가 보여 주는 것보다 많다.
프로그래밍 모델, 한 페이지로
2026-11-05에 연 Wikipedia 기술 사양 표에는 "Warp size" 행이 있고, 나열된 컴퓨트 능력 1.0부터 12.x까지의 칸이 32다. "Maximum number of threads per block" 행은 컴퓨트 능력 1.0, 1.1, 1.2, 1.3에서 512이고, 2.x 열부터 그 표의 이후 열까지 1024다. 한계 절은 최선의 성능을 위해 스레드를 최소 32개 묶음으로 돌리고 총수는 수천 개로 두라고 말하며, 32개 묶음 안의 분기가 SIMD 모델이 아픈 지점이라고 말한다. 이것은 그 페이지의 문장이다. 벤치마크가 아니다.
같은 페이지의 온톨로지 표는 단어를 이렇게 맞춘다. grid는 디바이스 범위, block은 스트리밍 멀티프로세서, warp는 32 스레드, 그리고 thread. 이 글은 그 표를 Wikipedia의 요약으로 쓴다. 열리지 않은 프로그래밍 가이드를 대신하지 않는다.
2006년 보도자료의 "수천 개의 스레드"와 Wikipedia의 "최소 32개 묶음"은 하드웨어 모양의 질문에 답한다. 그것만으로, 다른 회사의 병렬 칩이 왜 따라오지 못하는지를 말하지는 않는다. PyTorch HIP 페이지가 AMD의 오픈소스 GPU 스택으로 설명하는 ROCm도 병렬 GPU 스택이다. 이 글이 보는 간격은 모델 주위의 소프트웨어다. 마지막 문장은 해석이다. ROCm 설명이 있다는 사실은 HIP 페이지다.
인덱스 하나, 그리고 GPU 결과가 아닌 CPU 시간
cuda-moat-cpu-toy.py는 56줄이다. Python 3.12.3, NumPy 1.26.4. GPU 라이브러리를 import하지 않는다.
(1)은 블록 인덱스와 스레드 인덱스를 원소 하나에 대응시킨다. n = 10이고 블록이 4이면 grid는 블록 3개, 인덱스 12개이고, n을 넘는 인덱스 둘은 쓰지 않는다. 루프는 보통의 Python 루프다. GPU에서라면 그 인덱스가 병렬일 자리다. 여기서는 아니다.
(2)는 SAXPY, a * x + y이고 float32 원소 백만 개다. 한쪽은 x[i]를 도는 Python for다. 다른 쪽은 NumPy 식이다. NumPy 배열의 x[i]는 NumPy 스칼라라서, 이 루프는 맨 Python float의 루프가 아니다. 그래서 여기서 큰 배수는 읽기 쉽다.
파일의 한 실행은 이렇게 출력했다.
(1) grid=3 blocks x 4 threads = 12 'threads' for n=10
(1) out: [1.0, 3.0, 5.0, 7.0, 9.0, 11.0, 13.0, 15.0, 17.0, 19.0]
(2) python loop: 0.860s | numpy vectorized: 0.0023s | ~376x on this CPU
(3) user code identical -> device='cuda' -> cuBLAS/cuDNN, the names in the PyTorch CUDA notes
(3) user code identical -> device='rocm' -> HIP build; the notes still require device 'cuda'
(3) user code identical -> device='cpu' -> no GPU library is called
같은 파일, 같은 기계의 이후 세 실행은 약 406배, 411배, 432배를 출력했다. 루프는 0.87초 근처, NumPy 쪽은 0.002초 근처였다. 배수는 안정된 숫자 하나가 아니다. GPU 결과도 아니고, CUDA와의 비교도 아니다. 출력 줄이 "on this CPU"라고 말하는 것은 스크립트가 잰 것이 그것뿐이기 때문이다.
(3)은 딕셔너리다. 함수 이름은 matmul이지만 행렬을 곱하지 않는다. 문장을 돌려준다. 문장은 문서의 라벨이지 시간이 아니다.
라이브러리 층이 문서에 나타나는 곳
arXiv:1410.0759에서 연 cuDNN 초록은, 프로세서가 바뀔 때마다 프레임워크마다 커널을 다시 만들고 다시 최적화하고 있었기 때문에 딥러닝 기본 연산 라이브러리를 만들었다고 말한다. 그들이 이름을 대는 비교는 BLAS다. 초록의 예는 Caffe다. cuDNN을 넣으면 "표준 모델에서 성능이 36% 오르고 메모리 사용도 줄어든다." "표준 모델"은 논문의 말이다. 이 글은 Caffe를 다시 돌리지 않았고, arXiv가 렌더한 초록 페이지 너머의 결과 표는 열지 않았다. 그 페이지의 저자는 엔비디아의 Sharan Chetlur, Cliff Woolley, Philippe Vandermersch, Jonathan Cohen, John Tran, Baidu Research의 Bryan Catanzaro, UC 버클리의 Evan Shelhamer다.
2026년 9월 5일 갱신으로 표시된, 연 사본의 PyTorch CUDA semantics 페이지는 torch.cuda가 CUDA 연산을 준비하고 실행하는 데 쓰인다고 말한다. 같은 페이지는 torch.backends.cudnn과 cuBLAS를 말하고, cuBLAS가 구현한다고 하는 정밀도 모드도 말한다. 그래서 현재의 PyTorch 문서는 행렬 곱과 합성곱 스위치 뒤에 있는 것으로 그 두 라이브러리의 이름을 여전히 댄다. 학습 잡의 프로파일이 아니다. 페이지의 어휘다.
2026년 10월 1일 갱신으로 표시된 HIP 페이지는, ROCm을 AMD의 오픈소스 플랫폼으로, HIP을 CUDA 애플리케이션을 이식 가능한 C++로 옮기는 C++ 방언으로 말한다. 이어서 "PyTorch for HIP는 기존의 torch.cuda 인터페이스를 의도적으로 다시 쓴다." 예제의 주석은 'rocm'과 'hip'이 유효한 장치 타입이 아니고 'cuda'가 쓸 문자열이라고 한다. torch.version.hip과 torch.version.cuda가 그 페이지가 빌드를 구분하는 방법이다. 인터페이스 이름은 포팅 뒤에도 남는다. 페이지는 이것을 포팅을 돕는 일로 제시한다. CUDA 모양의 API가 다른 스택이 붙는 자리이기도 하다는 읽기는 이 글의 해석이다.
토이의 (3)은 그 모양을 출력하고 멈춘다. PyTorch를 import하지 않는다. 표에 세 번째 라벨이 있도록 CPU 줄을 넣었다. 스크립트는 MKL, oneDNN, 또는 이름의 CPU 수학 라이브러리를 호출하지 않으므로, 라벨이 하나를 지어내지 않는다.
실제로 열린 페이지로 본 다른 스택
oneAPI 사이트의 2023년 9월 19일 글, Rod Burns의 글은 Unified Acceleration (UXL) Foundation을 알린다. Linux Foundation의 Joint Development Foundation이 호스트다. 창립 운영 멤버는 Arm, Fujitsu, Google, Imagination Technologies, Intel, Qualcomm Technologies Inc., Samsung이다. Intel이 oneAPI 명세와 프로젝트를 내놓고, 스택은 SYCL 위에 선다고 말한다. URL에 2024-03-25가 들어 있는 Reuters 기사는 2026-11-05에 HTTP 401이었다. 이 글은 그 기사의 시가총액 문장과 개발자 수를 쓰지 않는다. 읽지 못했다.
같은 날 연 Triton README는 Triton을 맞춤 딥러닝 기본 연산을 위한 언어이자 컴파일러로 설명하고, "CUDA보다 높은 생산성"과 다른 DSL보다 높은 유연성을 목표로 한다고 말한다. 그 목표는 README의 문장이지, 이 글이 잰 가속이 아니다. 호환 절은 컴퓨트 능력 8.0 이상의 NVIDIA GPU, ROCm 6.2 이상의 AMD GPU, 그리고 개발 중인 CPU를 적는다. README는 기초로 2019년 MAPL 논문도 가리킨다. 그 논문은 열지 않았다. PyTorch CUDA 노트의 정밀도 절은, 한 정밀도 모드에서 torch.compile이 갈 수 있는 길로 ATen/cuBLAS 호출과 구분되는 Triton을 언급한다. 노트 한 문단이지, PyTorch가 어떤 커널을 컴파일하는지에 대한 조사가 아니다.
2026-11-05에 연 Wikipedia 한계 절은 CUDA를 다른 GPU에서 돌리려는 시도를 더 적는다. 이름 둘은 ZLUDA와 SCALE이다. 페이지는 ZLUDA를 AMD GPU의 드롭인 대체, 이전에는 Intel도 겨냥했던 것으로, SCALE을 CUDA 소스를 AMD GPU용으로 사전 컴파일하는 툴킷으로 설명한다. 프로젝트 저장소는 열지 않았다. 여기서 쓰는 설명은 Wikipedia의 것이다.
HIP, UXL, Triton, 그리고 그 Wikipedia 항목은 다른 소프트웨어가 있고, 그 일부가 CUDA를 떠나거나 CUDA 모양의 표면을 입는 일을 명시한다는 근거다. 워크로드가 얼마나 옮겼는지를 보여 주지는 않는다. 점유율은 재지 않았다.
해자는 얕아지고 있나
이 절은 해석이다. 위의 페이지들 뒤에, 해석이라고 표시한다.
이 글에서 해자는 떠나는 비용이다. 2006년 발표는 그래픽 API 대신 C 컴파일러를 내놓아, GPU 컴퓨팅에 들어가는 비용을 낮췄다. 2026년 문서는 다른 비용을 보여 준다. PyTorch 코드는 빌드가 HIP이어도 device='cuda'라고 말하고, 스위치 위의 이름은 여전히 cuBLAS와 cuDNN이며, Triton은 AMD도 적으면서 NVIDIA GPU를 먼저 적는다. 인터페이스를 다시 쓰는 일은 포팅하는 사람에게 벽을 낮추고, 어휘는 엔비디아의 것으로 남긴다. 두 효과는 HIP 문단 안에 있다. 어느 쪽이 큰지는 이 페이지들이 재지 않는다.
토이의 376배 줄은 그 판단에 들어가지 않는다. 그것은 NumPy 식이, NumPy 스칼라를 도는 Python 루프를 이긴 것이고, CPU 하나에서의 일이며, 다음 실행에서 배수가 움직였다. 프로그래밍 모델의 모양인 데이터 병렬 호출의 예시이지, 해자가 아니다.
판단을 양으로 만들려면 세어진 이전이 필요하다. 커널이거나, 학습 시간이거나, 발행처와 날짜가 있는 개발자 센서스다. 그 어느 것도 열지 않았다. 결론은 문서 위에 남는다.
사실과 해석
| 문장 | 구분 |
|---|---|
| 2006년 11월 8일: GeForce 8800에서 CUDA 발표, C 컴파일러, 등록 개발자 프로그램의 SDK, "수천"의 스레드, "100배" 절 | 아카이브한 보도자료. 100배 절은 다시 재지 않음 |
| 공개 SDK 2007년 2월 15일, Windows와 Linux. 인포박스 릴리스 2007년 2월 16일. 독점. 작성자 Buck과 Nickolls. 연혁 절의 2004 | 2026-11-05에 연 Wikipedia. 거기서 인용한 Business Insider 프로필은 열지 않음 |
| Wikipedia 인포박스: 2026-09-09의 13.4.1. 엔비디아 문서와 2026-11-04 블로그: CUDA Toolkit 13.5. cuBLAS는 13.5 구성 요소 표에 있다 | 둘 다 2026-11-05에 열음. 툴킷은 설치하지 않음. 블로그의 AI 요약은 기능 목록으로 쓰지 않음 |
| 워프 크기 32. 블록당 최대 스레드는 컴퓨트 능력 1.0–1.3에서 512, 그 표의 2.x부터 1024 | Wikipedia 기술 사양 표. 프로그래밍 가이드는 열리지 않음 |
| cuDNN 초록. Caffe 36% 문장과 BLAS 비교를 포함 | arXiv:1410.0759 초록 페이지. 결과 표는 다시 돌리지 않음 |
torch.cuda가 CUDA 연산을 실행한다. cuDNN과 cuBLAS가 이름 댄다. HIP 빌드는 torch.cuda를 다시 쓰고 장치 타입 'rocm' / 'hip'을 거절한다 | PyTorch 2.15 노트. 갱신 표시는 2026-09-05와 2026-10-01 |
| UXL 창립 운영 멤버, 2023-09-19. Triton README의 하드웨어 목록 | 그 두 페이지. Reuters는 401이라 숫자를 보태지 않음 |
| 토이 출력. 한 실행의 약 376배와, 이후 세 실행의 약 406배, 411배, 432배 | 이 기계, Python 3.12.3, NumPy 1.26.4, GPU 없음 |
| 그 층은 해자다. HIP의 이름 재사용은 전환 비용을 낮추기도 하고 남기기도 한다. CPU 배수는 GPU에 대한 근거가 아니다 | 이 글의 해석 |
출처
- 인스타그램. 링크만. fetch는 시간이 초과되었다. p/DfKxBMatLOG
- NVIDIA, "NVIDIA Unveils CUDA™-The GPU Computing Revolution Begins", 산타클라라, 2006년 11월 8일. 아카이브 사본
- CUDA. 2026-11-05에 열람. 연혁, 인포박스, 온톨로지 표, 기술 사양, 한계 절(ZLUDA, SCALE, 그리고 그 목록의 나머지).
- Sharan Chetlur 외, "cuDNN: Efficient Primitives for Deep Learning". arXiv:1410.0759
- CUDA Toolkit 13.5 릴리스 노트. 엔비디아 개발자 블로그, 2026년 11월 4일
- PyTorch 2.15, CUDA semantics, HIP (ROCm) semantics
- Triton README. 거기서 인용하는 2019년 MAPL 논문은 열지 않았다.
- Rod Burns, "Announcing the Unified Acceleration (UXL) Foundation", 2023년 9월 19일. oneAPI 블로그
- cuda-moat-cpu-toy.py. 위에 인용한 줄은 2026-11-05 실행이다. GPU는 쓰지 않았다.