본문으로 건너뛰기
목록으로 돌아가기
기술
14 분

HackerTube 뜯어보기: HN 20년 치 댓글로 만든 "오래 남는 영상" 추천기

Andrej Karpathy가 주말에 공개한 HackerTube를 사이트와 2026-10-31 데이터 내보내기로 따라가 봅니다. "4,300만 댓글을 Claude가 걸렀다"는 말 뒤에는 규칙 필터, 일부 언급만 맡긴 라벨링, 개월 수 기반 점수가 있습니다.

박효열 (Hyoyoul Park)
#HackerTube#Hacker News#Claude Code#추천 시스템#데이터 파이프라인#LLM 라벨링

2026-11-03 확인. 출발점은 Andrej Karpathy의 X 포스트다. 수치와 절차는 HackerTube의 소개, 데이터 페이지, /api/stats, /api/export, 그리고 같은 날 받은 DATA.md와 zip으로 대조했다. 포스트에만 있는 주장과, 공개 파일에서 다시 센 숫자를 구분한다.

먼저 결론

Claude가 4,300만 개 댓글을 하나하나 읽었다는 말은 공개된 절차와 맞지 않는다. 소개 페이지와 DATA.md는 먼저 규칙으로 걸러 낸다. 서로 다른 사람이 3명 이상, 서로 다른 달이 3개월 이상, 댓글 자신의 글이 100자 이상인 언급만 남기고, 영상당 최대 20개만 보관한다. 내보내기에 들어 있는 LLM 라벨은 39,834개다.

순위는 조회수나 하루짜리 바이럴이 아니다. score는 추천이 있었던 서로 다른 달의 수에, 강한 추천이 있었던 달의 수를 0.5배 해서 더한다. 2026-10-31 내보내기 6,454편 전부에서 이 식이 맞았다.

데이터는 ODC-By 1.0 zip으로 공개돼 있다. 사이트와 DATA.md가 안내하는 재사용 방법은 그 zip을 자기 에이전트에 주는 것이다. 확인한 페이지들은 애플리케이션 소스 저장소를 가리키지 않는다.

HackerTube는 무엇인가

소개 페이지의 문제의식은 짧다. YouTube 추천은 시청 시간에 맞춰져 있어서, 다음에 누를 영상은 잘 찾지만 내년에도 생각날 강연은 잘 못 찾는다는 것이다. HackerTube는 2007년부터 2026년까지 Hacker News 댓글이 서로에게 가리킨 YouTube 영상을 한곳에 모은다고 말한다.

같은 페이지가 적은 기능은 이렇다. Home은 고전, 숨은 영상, 최근 추천, 아직 안 본 주제, 그리고 좋아요 이후에는 비슷한 영상과 같은 사람들이 함께 추천한 영상을 섞는다. 검색은 단어 일치를 넘어 주제를 보도록 임베딩을 쓴다. 카테고리와 플레이리스트로 둘러볼 수 있고, 영상 페이지에는 원 댓글과 HN 스레드 링크가 있다. 계정은 없다. 좋아요, 시청 기록, Watch later는 브라우저 안에만 둔다고 되어 있으며, 페이지 스크립트는 그 목록을 localStorage에 저장한다.

임베딩 파일의 헤더는 6,454행, 384열, float16(<f2)이다. DATA.md는 모델을 BAAI/bge-small-en-v1.5로, 벡터를 L2 정규화됐다고 적고, 재정렬에 jinaai/jina-reranker-v1-turbo-en을 쓴다고 적는다. 헤더의 모양과 원소 형식은 확인했다. 정규화와 재정렬 품질은 다시 재지 않았다.

파이프라인 5단계

소개 페이지의 다섯 단계와 DATA.md의 필드 정의를 겹치면 다음과 같다.

HN 아카이브 2007–2026 (open-index/hacker-news)
        ↓
YouTube 링크 스캔. 댓글 자신의 글이 100자 미만이면 언급에서 제외
        ↓
서로 다른 3명, 서로 다른 3개월. 소개 페이지: roughly 7,000편
        ↓
영상당 최대 20개 언급만 보관
        ↓
Claude Sonnet 5.5가 스탠스, 짧은 이유, 인용문을 붙임
        ↓
같은 모델이 카드(요약, 왜 HN이 가리키는지, 형식, 난이도, shelf life)와
1–3개 카테고리를 작성. 분류 체계는 16개 영역, 150개 카테고리
        ↓
score = 추천이 있던 달 + 0.5 × 강한 추천이 있던 달
        ↓
공개 카탈로그 6,454편 (export 2026-10-31)

소개 페이지는 1단계를 "Hacker News를 다 읽었다"고 표현하지만, 바로 이어 공개 아카이브의 댓글에서 YouTube 링크를 찾았다고 설명한다. DATA.md도 이 단계를 링크 스캔으로 적는다. LLM이 읽는 단계로 적힌 것은 그다음이다. 필터를 통과한 언급을 Sonnet 5.5가 라벨링한다.

"roughly 7,000"과 공개본 6,454의 차이는 소개 페이지도 DATA.md도 설명하지 않는다. 20개 상한은 영상을 빼는 규칙이 아니라 영상당 언급을 자르는 규칙이다. 차이의 이유를 이 글에서 메우지 않는다.

숫자로 보기

2026-11-03에 읽은 공식 응답과, 같은 날 받은 zip의 행 수는 같다. zip 크기는 17,842,799바이트로 /api/export의 zip.bytes와 같았다.

항목값출처
영상6,454/api/stats, /api/export, videos.jsonl
라벨이 붙은 댓글39,834comments / mentions, mentions.jsonl
recommenders15,041/api/stats. 영상별 hn.recommenders의 합과 같다
기간2007–2026/api/stats
영역 / 카테고리16 / 150/api/stats, taxonomy.json
함께 추천된 영상 행3,778/api/export, related.jsonl
내보내기 날짜2026-10-31/api/export
임베딩6,454 × 384, float16embeddings.npy 헤더

소개 페이지는 39,834 옆에 "HN comments read"라고 표시한다. DATA.md는 같은 수를, 규칙 뒤에 남긴 라벨링된 언급이라고 설명한다. 두 문장은 같은 내보내기 수를 가리킨다. 아카이브 전체를 센 수는 아니다.

포스트와 댓글에만 있고 데이터 파일에는 없는 숫자는 따로 둔다.

주장나온 곳공개 아티팩트
댓글 4,300만 개X 포스트의 "43M comments"API, DATA.md, zip 어디에도 없다
Opus 5.5로 약 2시간같은 포스트의 "~2 hours"시간 기록은 없다
훨씬 나은 시청 경험같은 포스트의 "Significantly better viewing experience"작성자의 평가다
1차 필터 뒤 약 7,000편소개 페이지공개본은 6,454편이고 차이는 설명되지 않는다
필터 전 영상이 십만 개를 한참 넘음소개 페이지의 "well over a hundred thousand"링크 후보 목록은 zip에 없다
입력 5억 400만 토큰, 출력 760만 토큰HN 댓글 50319793, HN 표시 시각 2026-10-31 20:26:28내보내기에 없다. 본인이 구독 요금제를 쓰며 Claude에게 합산시켰다고 적었다

아래부터는 2026-11-03에 quickstart 스크립트로 2026-10-31 zip을 세어 얻은 값이다. 공식 통계와 다른 정의가 있으면 그 자리에서 적는다.

/api/stats의 15,041은 서로 다른 사람의 수가 아니다. 영상별 hn.recommenders를 더하면 15,041이 된다. 추천 스탠스(rec 또는 strong_rec)를 단 댓글 작성자는 9,563명이고, 라벨이 붙은 언급의 작성자는 17,500명이다. 한 사람이 여러 영상을 추천하면 15,041에는 여러 번 들어간다.

스탠스 합은 39,834다.

스탠스행 수DATA.md의 뜻
reference19,148중립적으로 인용
rec12,141다른 사람에게 가리킴
strong_rec4,043적극적인 추천
joke2,711농담이나 펀치라인
critical1,791비판하거나 반박

추천으로 세는 것은 rec와 strong_rec뿐이다. 둘의 합은 16,184로, 인용(19,148)보다 적다. hn.recommenders == 0인 영상은 1,658편으로 6,454의 25.7%다. DATA.md의 "about 25%"와 맞다. 이 영상들은 인용만 되었고 추천은 없다.

형식은 talk 1,448, explainer 1,091, demo 827, comedy 567 순이다. course는 24편뿐이다. level은 general이 4,588편으로 DATA.md가 말한 약한 신호와 같다. shelf_life는 evergreen 4,546, dated 1,501, news 407이다. DATA.md는 news를 기본 UI에서 숨기라고 한다.

카테고리는 영상마다 1개 681편, 2개 3,413편, 3개 2,360편이다. 한 영상이 여러 영역에 들어갈 수 있어 영역 소속 합은 11,072다. 영상이 가장 많은 영역은 Arts, Comedy, Music & Film(1,344)이고, 이어서 Computing History & Culture(1,026), Politics, History & Society(1,018), Software Engineering & Languages(980)다. 카테고리 상위는 Tech pioneers & interviews 369, Satire & parody 362, Media, journalism & propaganda 334, Film & TV clips 310이다.

점수가 높은 다섯 편은 파일 순서 그대로다.

  • 25.0, 추천 달 18, 강한 추천 언급 14, 추천자 17. 3Blue1Brown, "Vectors | Chapter 1, Essence of linear algebra"
  • 22.5, 18, 9, 17. Confreaks, "Ruby Conf 12 - Y Not- Adventures in Functional Programming by Jim Weirich"
  • 22.0, 18, 8, 19. Andor Gafotas, "Indistinguishable From Magic: Manufacturing Modern Computer Chips"
  • 21.0, 16, 10, 17. MIT OpenCourseWare, "How to Speak"
  • 21.0, 16, 10, 17. Andrej Karpathy, "The spelled-out intro to neural networks and backpropagation: building micrograd"

연도 표는 보관된 언급만 센다. 영상당 최대 20개이고, 2026년은 내보내기 날짜인 10월 31일까지의 일부다. HN 전체 트래픽이 아니다.

연도보관된 언급그중 추천추천이 있던 영상
20071244
2008321616
20091165444
20102649872
2011436194138
2012602233179
2013872342263
20141,092474350
20151,389573434
20161,958797593
20172,180927670
20182,6171,192856
20192,9231,260854
20203,9491,7711,191
20214,6691,9221,273
20224,6671,8881,267
20234,5791,7891,161
20243,1391,178867
20252,796933686
20261,542539408

그 밖에 스크립트가 확인한 것. 언급이 20개를 넘는 영상은 0편이다. 저장된 text 길이는 82자에서 1,500자고, 1,500자인 행이 2,853개다. 100자 규칙은 링크를 [VIDEO]나 [LINK]로 바꾸기 전 댓글 자신의 글에 대한 것이라, 저장된 텍스트가 100자보다 짧을 수 있다. 제목을 소문자로 바꾸고 영숫자가 아닌 문자를 공백으로 접으면 중복 제목 묶음이 23개, 여분 행이 27개다. DATA.md가 말한 중복 업로드와 같은 방향이지만, 이 정규화가 같은 강연임을 증명하지는 않는다.

스탠스 라벨과 점수 공식

DATA.md의 점수 정의는 rec_months + 0.5 × (강한 추천이 있었던 달의 수)다. hn.strong_recs는 그 달의 수가 아니라 strong_rec 언급의 개수다. 같은 달에 강한 추천이 두 번이면 언급 수는 늘고 달의 수는 그대로다. 6,454편 중 131편이 이렇게 다르다.

Enthought 채널의 "A Better Default Colormap for Matplotlib"(xAoljeRJ3lU)가 그 예다. rec_months는 14, strong_recs는 6이지만 강한 추천이 있는 달은 5개월이다. 2019-08에 두 건이 겹친다. 14 + 0.5 × 5 = 16.5이고, 파일의 score도 16.5다. 스크립트는 모든 영상에 이 비교를 했고 불일치는 0이었다.

최고점 영상의 필드를 길이가 긴 문장을 빼고 적으면 다음과 같다. 요약, 태그, 인용문 전문은 뺐다.

{
  "vid": "fNk_zzaMoSs",
  "title": "Vectors | Chapter 1, Essence of linear algebra",
  "channel": "3Blue1Brown",
  "content_type": "course",
  "shelf_life": "evergreen",
  "hn": {
    "mentions": 20,
    "recommenders": 17,
    "rec_months": 18,
    "strong_recs": 14
  },
  "score": 25.0
}

DATA.md는 라벨과 요약의 몇 퍼센트는 틀릴 수 있다고 경고한다. 이 글은 그 비율을 새로 측정하지 않았다. 댓글 원문과 라벨을 표본 대조하지 않았다.

에이전트 분업 구조

DATA.md와 소개 페이지의 크레딧은 같다. 파이프라인, 검색, 추천, 사이트는 Claude Opus 5.5가 Claude Code 안에서 만들고 조율했다. 프롬프트를 준 사람은 @karpathy다. 댓글 라벨, 영상 카드, 주제 목록은 Opus가 조율한 Claude Sonnet 5.5 에이전트 팀이 썼다. DATA.md는 분류 체계를 데이터가 있는 상태에서 Claude가 초안했다고 적는다.

이것을 오케스트레이터가 워커에게 일을 나누는 패턴으로 읽을 수 있다. 그 읽기는 크레딧 문장에 대한 해석이다. 프롬프트, 재시도, 실패율, 세션 로그는 공개되어 있지 않다.

HN 댓글에서 그는 토큰의 90% 이상이 댓글 라벨용 Sonnet 호출이고, 앱과 배포는 Opus 5.5 약 100만 토큰이라고 적었다. 이 배분은 위의 크레딧과 방향이 같다. 그래도 세션을 재현한 기록은 아니다.

직접 해보기

2026-11-03에 위 숫자를 만든 스크립트는 hackertube-quickstart.py다. 표준 라이브러리만 쓰고, zip을 내려받지 않는다. 데이터 페이지가 안내하는 대로 zip을 받은 뒤 폴더를 넘긴다.

python3 hackertube-quickstart.py /path/to/hackertube-data

점수 식만 줄이면 다음과 같다. 실행한 것은 링크의 전체 스크립트다.

rec_months = {m["month"] for m in kept if m["stance"] in {"rec", "strong_rec"}}
strong_months = {m["month"] for m in kept if m["stance"] == "strong_rec"}
expected = len(rec_months) + 0.5 * len(strong_months)

불일치가 있으면 스크립트는 0이 아닌 상태로 끝난다. 이번 실행은 0건이었다. 데이터 페이지는 pandas.read_json(path, lines=True)도 안내한다. 이 글의 표는 pandas가 아니라 위 스크립트의 출력이다.

라이선스는 ODC-By 1.0이다. HackerTube와 open-index/hacker-news를 밝혀야 한다. 댓글의 권리는 작성자에게 있고, 영상 제목과 채널 이름은 제작자의 것이다. YouTube 설명, 조회수, 길이, 게시일은 재배포하지 않는다고 DATA.md가 적는다. 지워졌거나 비공개인 영상이 원래 링크의 약 6%라는 말도 DATA.md의 수치이며, 이 zip만으로 다시 세지 않았다.

사실과 해석

확인한 사실근거
X 포스트는 2026-11-01 18:14 UTC(2026-11-02 03:14 KST)이고, 43M, 6,454편, 약 2시간을 적는다X API로 읽은 해당 포스트
규칙, 20개 상한, 스탠스 다섯 종, 점수 식, 노이즈 경고DATA.md
6,454 / 39,834 / 15,041 / 16영역 / 150카테고리 / 2007–2026/api/stats
zip 17,842,799바이트, 행 수, 2026-10-31/api/export와 받은 파일
점수 식은 6,454편 모두 일치, 추천 없는 영상 1,658편이번 스크립트
Opus가 파이프라인을 조율하고 Sonnet 팀이 라벨과 카드를 작성소개 페이지, DATA.md
계정 없이 브라우저에 목록을 저장소개 페이지와 그 페이지의 localStorage 스크립트

해석은 따로 둔다.

개월 수를 세는 이유는, 하루 동안 몰린 댓글과 여러 해에 걸쳐 다시 가리켜진 영상을 구분하기 위해서다. 조회수는 이 내보내기에 없다. 그 선택이 "오래 남는 영상"에 가깝다는 말은 식의 의미에 대한 해석이지, 시청 실험 결과가 아니다. "Significantly better viewing experience"는 Karpathy의 평가다. 이 글은 카탈로그를 시청하며 YouTube 홈과 비교하지 않았다.

"몇 퍼센트"의 라벨 노이즈는 프로젝트의 경고이지 측정된 정확도가 아니다. 39,834개에서 몇 퍼센트는 수백에서 대략 일천 건 규모라, 경계에 있는 영상의 점수는 움직일 수 있다. 영상이 목록에 들어오는지 자체는 3명·3개월 규칙이 정한다. 모델이 그 규칙을 대신하지 않는다. 이 규모 읽기는 표본 감사가 아니다.

다른 커뮤니티로 옮길 때 가져갈 수 있는 것은 모양이다. 아카이브를 규칙으로 줄이고, 줄어든 언급만 모델에 맡기고, 라벨에서 다시 계산할 수 있는 점수로 정렬한다. 3명, 3개월, 100자, 20개, 0.5 가중치는 HN 규모에 맞춘 선택이다. 이 스냅샷에서 영상이 가장 많은 영역이 예술·코미디·음악·영화라는 점도, "HN 추천은 시스템 강연"이라는 가정과 다르다.

2021년 이후 연도 표가 줄어드는 것을 HN 추천이 줄었다는 증거로 쓰지 않는다. 세는 대상이 필터를 통과한 영상의 보관된 언급이고, 2026년은 10월 31일에서 끊긴다.

출처