본문으로 건너뛰기
목록으로 돌아가기
기술
11 분

평가는 라벨된 입력, 채점기, 그리고 차이를 소음과 가르는 구간이다

OpenAI 문서는 채점기를 문자열 비교, 유사도, 모델 점수, Python으로 나눈다. Anthropic의 에이전트 평가 글은 결정적 검사를 우선하고 모델 심판을 사람에 맞추라고 한다. 40행 합성 실행은 정확도 5포인트 차이의 부트스트랩 구간이 0을 포함하고, 심판-사람 카파는 0.550이다. 그 행은 스크립트가 뽑았다.

박효열 (Hyoyoul Park)
#평가#LLM-as-Judge#Cohen's Kappa#Bootstrap#OpenAI#Anthropic

2026-11-10 확인. 출발 링크는 X 게시물 status/2106453816757354947과 인용 게시물 status/2119434614838346085이다. 두 글의 문장은 사실로 쓰지 않는다. 같은 날 연 페이지는 OpenAI의 평가 다루기, 데이터셋 시작, 채점기, 평가 관행, Anthropic의 에이전트 평가를 풀어서 보기, Zheng 등의 "Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena," arXiv 2306.05685이다. 카파는 Cohen의 1960년 계수다. 토이는 eval-harness-toy.py다. 출력된 라벨은 전부 그 파일이 뽑은 것이다.

먼저 결론

평가 하네스는 세 가지 물건이다. 라벨이나 기준이 붙은 입력 집합. 출력을 숫자로 바꾸는 채점기. 새 버전이 예전 버전과 다른지, 그 표본이 감당할 수 있는 차이보다 큰지 말하는 비교.

2026-11-10에 연 OpenAI 평가 가이드는, 평가에 data_source_config(시험 행의 스키마)와 testing_criteria(채점기)가 필요하다고 한다. 같은 문서군은 Evals 플랫폼이 2026-10-31에 읽기 전용이 되고 2026-11-30에 종료될 예정이며, 새 작업은 Datasets를 보라고 한다. 거기서 이름 붙인 채점기 종류는 문자열 검사, 텍스트 유사도, 점수 모델, 라벨 모델, Python이다.

Anthropic의 에이전트 평가 글은 할 수 있으면 결정적 채점기를, 유연함이 필요하면 모델 채점기를, 모델 채점기를 맞추려면 사람을 쓰라고 한다. Zheng 등은 강한 심판이 MT-Bench와 Chatbot Arena에서 사람과 80%를 넘는 일치를 보였고, 그 수준이 사람 사이의 일치와 같다고 보고하며, 위치 편향, 장황함 편향, 자기 강화 편향을 한계로 적는다. 그 80%는 그들의 결과다. 이 글은 MT-Bench를 다시 채점하지 않았다.

토이는 균형 잡힌 40개 항목, 시스템 둘, 시드를 적용하기 전 사람의 라벨을 80% 확률로 베끼는 심판을 뽑는다. 시드가 실현한 정확도는 0.800과 0.850이다. 차이의 부트스트랩 95% 구간은 −0.100에서 0.200이고, 0을 포함한다. 같은 뽑기에서 심판과 사람의 Cohen 카파는 0.550이다. 그 사람과 모델은 없다.

라벨된 입력

OpenAI 시작 페이지는 행이 어디서 오는지를 적는다. 합성, 도메인 전용, 구매, 사람이 고른 것, 운영 로그, 과거 데이터. 관행 페이지는 한 라벨이 대부분인 집합을 피하라고 한다. 모델이 그 라벨을 찍을 수 있기 때문이다. 평가 가이드의 티켓 예는 라벨의 작은 형태다. 각 행에 ticket_text와 correct_label이 있고, 채점기는 같음을 검사한다.

라벨은 루브릭과 같은 물건이 아니다. 라벨은 이번 실행을 보기 전에 저장해 둔 답이다. 루브릭은 맞출 문자열이 하나 없을 때 심판이 적용하는 규칙이다. Anthropic 연구 글은 그 나눔을 짧게 말한다. 가능하면 결정적, 필요하면 모델, 맞추는 일은 사람.

토이의 truth 열은 i % 2다. 균형인 이유는 파일이 그렇게 정해서이지, 제품의 오류율이 균형이어서가 아니다.

채점기 셋

코드 채점기는 함수다. OpenAI의 Python 채점기는 grade(sample, item)을 정의하고 0에서 1 사이의 float를 돌려줘야 한다. 그 외는 무효이고 0이 된다. 문자열 검사 채점기는 더 좁은 경우다. {{ item.correct_label }}에 대한 operation: "eq". 과제가 정말로 닫힌 라벨일 때 쓴다. 뜻은 같고 토큰은 공유하지 않는 두 문장에는 쓰지 않는다.

모델 채점기는 또 한 번의 모델 호출이다. 데이터셋 페이지는 점수 모델(친절함 같은 것의 숫자)과 라벨 모델(concise 또는 verbose 같은 범주)을 이름 붙인다. 관행 페이지는 세 모양을 적는다. 쌍 비교(둘 중 어느 답이 나은지), 단일 답 채점, 기준 답을 보여주는 채점. 위치 편향과 장황함 편향을 이름 붙이고, 능력 있는 심판으로 시작한 뒤 비용에 맞춰 줄이기 전에 사람 라벨과의 일치를 확인하라고 한다. 이 읽기 시점에 그 페이지가 시작점으로 적은 이름은 gpt-6-astra다. 이 글은 그 모델을 호출하지 않았다.

Zheng 등, arXiv:2306.05685는 그 편향 이름을 공개 벤치마크에 올린 논문이다. 초록은 GPT-4 같은 강한 심판이 MT-Bench와 Chatbot Arena에서 통제된 선호와 군중 선호 모두와 80%를 넘는 일치를 보였고, 그 수준이 사람 사이의 일치와 같다고 한다. 초록이 적는 한계는 위치 편향, 장황함 편향, 자기 강화 편향, 제한된 추론이다. 두 답의 순서를 바꾸는 것과 더 긴 답을 선호하는 것이 앞의 둘이다. 그래서 심판 점수 하나가 아직 라벨은 아니다.

사람 채점기는 비싼 쪽이다. Anthropic의 표는 전문가 검토, 군중 판단, 표본 검사, A/B, 주석자 간 일치를 적고, 사람 채점을 느리지만 기준이 되는 것으로 부른다. 그들의 권고는 모델 심판이 전문가와 가깝게 남을 때까지 맞춘 다음, 사람은 가끔만 쓰라는 것이다. "가깝다"는 그 페이지의 숫자가 아니다. Zheng의 "80% 초과"는 다른 연구의 숫자다. 하나를 다른 쪽에 붙이지 않는다.

일치는 정확도가 아니다

정확도는 시스템이 저장된 라벨과 얼마나 자주 맞는지를 말한다. 일치는 두 채점기가 서로 얼마나 자주 맞는지를 말한다. 심판이 사람과 일치해도 둘 다 과제에 대해 틀릴 수 있다. 그래도 일치 숫자가 필요하다. 심판이 사람을 따라가지 않으면, 사람의 일을 자동화한 것이 다른 일을 재고 있는 것이다.

Cohen의 카파(Jacob Cohen, Educational and Psychological Measurement, 1960)는 각 평가자가 각 라벨을 쓰는 빈도가 주는 우연 일치를 원일치에서 뺀다.

po = (맞은 쌍의 수) / n
pe = 라벨마다 P(사람 = k) * P(심판 = k) 의 합
kappa = (po - pe) / (1 - pe)

균형 잡힌 동전 던지기 쌍에서 pe는 0.5이고, 원일치 0.775는 "78% 신뢰"가 아니다. 토이의 뽑기가 그 경우다. po = 0.775, pe = 0.500, 카파 0.550. Landis와 Koch(Biometrics, 1977)는 0.41–0.60을 그들이 moderate라고 부른 구간에 넣었다. 그 구간은 그들의 관례다. OpenAI나 Anthropic 페이지의 문턱이 아니고, 이 심판을 받아들이라는 이유도 아니다.

파일의 생성 줄은 확률 0.20으로 심판을 사람에서 뒤집는다. 시드는 일치 0.775를 실현했고, 그것은 40개 중 31개이지 정확히 32개가 아니다. 확률이 아니라 찍힌 줄을 인용한다.

차이에는 구간이 필요하다

같은 40행의 정확도 둘. 0.800과 0.850. 차이는 0.050이다. 항목 두 개다. 부트스트랩은 라벨이 뽑힌 뒤 random.Random(7)로 40행을 복원 추출하고, 2000번 반복한 뒤 정렬된 차이의 2.5%와 97.5%를 취한다. 파일은 −0.100에서 0.200을 찍는다.

구간은 0을 포함하고 20포인트 이득도 포함한다. 이 뽑기에서 시스템 B가 더 낫다고 말할 수 없다. 파일의 생성 확률은 0.70과 0.85였다. 실현된 비율은 0.80과 0.85다. 베르누이 40번은 확률 위에 정확히 앉지 않기 때문이다. 확률을 측정된 정확도인 것처럼 보고하는 것이, 구간이 잡으려는 실수다.

OpenAI 관행 페이지는 실행하고 비교한 다음, 바뀔 때마다 평가를 이어 가라고 한다. 비교는 "새 열이 더 높아 보인다"가 아니다. 실제로 가진 집합의 재추출 소음과 구분되는 차이다. 집합을 키우는 것이 그 구간을 줄이는 방법이다. 이 토이는 운영 표본 크기를 고르지 않는다.

토이가 아닌 것

eval-harness-toy.py는 Python 표준 라이브러리를 쓴다. Python 3.12.3, 2026-11-10:

n=40 seed=7 bootstrap=2000
acc_a=0.800 acc_b=0.850 diff_b_minus_a=0.050
bootstrap_95ci_diff=-0.100,0.200
judge_human_po=0.775 pe=0.500 cohen_kappa=0.550
synthetic=true

모델 호출도 사람도 없다. 심판 열은 대부분 truth를 베끼는 동전이 다. 여기 카파는 그 열에 대한 것이지 두 번째 전문가에 대한 것이 아니다. 부트스트랩은 백분위수고, 편향 보정 구간이 아니다. 행은 구성상 독립이다. 실제 평가의 오류는 주제별로 묶인다. 이것은 그것을 보여 주지 못한다.

사실과 해석

문장어느 쪽
평가에는 데이터 스키마와 시험 기준이 있다. 문자열 검사, 유사도, 점수 모델, 라벨 모델, Python이 채점기 종류다. Evals는 2026-10-31에 읽기 전용, 2026-11-30에 종료 예정이다. 새 작업은 Datasets를 가리킨다.2026-11-10에 연 OpenAI 문서.
결정적 채점기를 우선하고, 그다음 모델 채점기, 사람은 맞추는 데 쓴다. 심판에게 "모름" 출구를 준다.Anthropic, 에이전트 평가를 풀어서 보기.
GPT-4 심판은 MT-Bench와 Chatbot Arena에서 사람과 80%를 넘는 일치를 보였고, 사람 사이의 일치와 같다. 위치, 장황함, 자기 강화 편향이 한계로 이름 붙는다.Zheng 등, arXiv:2306.05685. 재실행하지 않음.
카파는 우연 일치를 뺀다. 0.41–0.60은 moderate라고 불렸다.Cohen 1960. Landis와 Koch 1977, 관례로서.
찍힌 정확도, 0을 포함하는 구간, 카파 0.550.이 스크립트, 시드 7. 합성.

출처