리더보드 1위와 2위는 태스크 0.36개 차이였다. 내 하네스엔 두 달 반 죽어 있던 게이트가 있었다
8월 첫 주에 AI 툴 뉴스가 두 갈래로 왔다. 한쪽은 가격이었다. OpenAI가 7월 30일에 Luna 입력 단가를 80% 내렸고, Anthropic은 Opus 5를 직전 세대 절반 값에 내놨다. 다른 한쪽은 순위였다. Terminal-Bench 2.1 리더보드에서 1위와 2위가 0.4%p 차이로 붙어 있었다. 두 소식을 나란히 놓고 보니 드는 생각이 있었다. 지금이 툴을 갈아탈 타이밍인가. 갈아타기 전에 하나만 확인하고 싶었다. 0.4%p라는 게 대체 뭘 재는 숫자인가. 리더보드는 퍼센트로 나오는데 그 퍼센트의 분모가 몇인지는 표에 안 적혀 있다. 그래서 분모를 찾아 곱해봤다. 89개였다. 0.4%p는 태스크 0.36개다. 여기까진 예상한 결론이었다. "벤치마크 몇 %p 차이로 툴 고르지 마라"는 말은 나도 여러 번 했고 여러 번 들었다. 확인 사살에 가까운 산수였다. 그런데 산수를 끝내고 나니 질문이 하나 남았다. 벤치 점수가 내 결과를 안 가른다면, 가르는 건 뭔가. 하네스라고 생각했으니 내 하네스를 세어보러 갔다. 그리고 세다가, 두 달 반 동안 아무것도 검증하지 않은 채로 돌고 있던 게이트를 다시 마주쳤다. 모델을 0.4%p 위로 올릴지 말지 고민하는 동안, 내 쪽 검증 레이어는 0%로 돌고 있었다. 8월에 뉴스가 두 갈래로 왔다 먼저 가격 쪽부터 본다. 7월 30일에 OpenAI가 단가를 내렸는데, 내림폭이 모델마다 달랐다. 모델 이전 (입력/출력, 100만 토큰) 7월 30일 이후 Luna $1 / $6 $0.20 / $1.20 Terra $2.50 / $15 $2 / $12 Sol $5 / $30 동결 Luna 입력이 80% 빠졌다. Terra는 20%쯤 내렸고, 최상위인 Sol은 안 움직였다. Anthropic 쪽은 Opus 5가 $5/$25로, Fable 5의 절반 값이다. Sonnet 5는 도입가로 $2/$10을 붙여뒀고 8월 31일 무렵까지만 그 값이다. 이후엔...