라벨이 AI 코딩 벤치마크인 게시물 표시

같은 봉제인형 프롬프트를 넣었는데 ChatGPT는 원본을, Gemini는 프롬프트를 따랐습니다

이미지
오전에 당근 모임 대화방에 그림 두 장이 올라왔습니다. 저는 대화에 끼지 않고 읽기만 하고 있었습니다. 하나는 한옥 마당에서 버섯 바구니를 든 주황색 고양이였고, 다른 하나는 시장 골목에서 장바구니를 든 가지와 당근이었습니다. 둘 다 펠트로 만든 인형처럼 생겼고, 표면에 보풀이 일어난 게 폰 화면으로도 보일 정도였습니다. 바로 밑에 누가 물었습니다. 제미나이로 만든거에요? 올린 분 답은 이랬습니다. 아뇨 인스타에서 찾은거 걍 인형같던데... 대화는 "으흠 신기하네용"으로 끝났는데, 저는 "걍 인형같던데"에서 좀 오래 멈춰 있었습니다. 그 말이 딱 그 그림이 노린 반응이라서요. 진짜 인형을 찍은 사진이면 굳이 나올 말이 아닙니다. 보는 사람이 한 번은 헷갈려야 나오는 말이죠. 가지가 쓴 동그란 안경은 실로 수놓은 것처럼 보이는데, 손바닥만 한 인형에 안경테를 저렇게 고르게 수놓는 건 손으로 하기엔 꽤 성가신 일입니다. 배경이 전부 적당히 흐려져 있고 햇빛이 인형 털 끝에서만 반짝이는 것도 그렇고요. 제 눈에는 AI 쪽으로 보였습니다. 그래서 그 두 장을 뜯어보고 프롬프트로 옮겨 봤습니다. 인스타에 올린 사람이 어떤 프롬프트를 썼는지는 모릅니다. 그림에서 보이는 걸 거꾸로 적어 내려간 것이고, 그렇게 만든 프롬프트에 가지고 있던 사진 몇 장을 넣어 봤습니다. 그림 두 장을 문장으로 옮기면서 거꾸로 적어 내려간다는 게 말은 쉬운데, 해 보면 그림에서 뭘 볼지부터 정해야 합니다. 제가 먼저 본 건 얼굴이었습니다. 고양이 눈은 반쯤 감긴 선 두 줄이고, 가지 얼굴도 눈과 입이 가는 선 몇 개로 끝납니다. 펜으로 그린 선이 아니라 실로 박음질한 선처럼 보였고, 이게 눈, 눈썹, 코, 입은 프린트가 아니라 embroidery나 felt applique로 만든다는 문장이 됐습니다. 다음은 표면이었습니다. 크게 키워 보면 고양이 털 가장자리가 햇빛을 받아 하얗게 빛나는데, 매끈한 3D 렌더링과 제일 다른 부분이 여...

Terminal-Bench 1·2위 격차 0.4%p 를 태스크 수로 환산하면

이미지
8월 첫 주에 AI 툴 뉴스가 두 갈래로 왔습니다. 한쪽은 가격이었고요. OpenAI가 7월 30일에 Luna 입력 단가를 80% 내렸고 , Anthropic은 Opus 5를 직전 세대 절반 값에 내놨습니다 . 다른 한쪽은 순위였습니다. Terminal-Bench 2.1 리더보드에서 1위와 2위가 0.4%p 차이로 붙어 있었습니다. 두 소식을 나란히 놓고 보니 드는 생각이 있었습니다. 지금이 툴을 갈아탈 타이밍인가. 갈아타기 전에 하나만 확인하고 싶었습니다. 0.4%p라는 게 대체 뭘 재는 숫자인가. 리더보드는 퍼센트로 나오는데 그 퍼센트의 분모가 몇인지는 표에 안 적혀 있습니다. 그래서 분모를 찾아 곱해봤습니다. 89개였습니다. 0.4%p는 태스크 0.36개입니다. 여기까진 예상한 결론이었습니다. "벤치마크 몇 %p 차이로 툴 고르지 마라"는 말은 저도 여러 번 했고 여러 번 들었습니다. 확인 사살에 가까운 산수였습니다. 그런데 산수를 끝내고 나니 질문이 하나 남았습니다. 벤치 점수가 제 결과를 안 가른다면, 가르는 건 뭔가. 하네스라고 생각했으니 제 하네스를 세어보러 갔습니다. 그리고 세다가, 두 달 반 동안 아무것도 검증하지 않은 채로 돌고 있던 게이트를 다시 마주쳤습니다. 모델을 0.4%p 위로 올릴지 말지 고민하는 동안, 제 쪽 검증 레이어는 0%로 돌고 있었습니다. 8월에 뉴스가 두 갈래로 왔습니다 먼저 가격 쪽부터 봅니다. 7월 30일에 OpenAI가 단가를 내렸는데, 내림폭이 모델마다 달랐습니다. 모델 이전 (입력/출력, 100만 토큰) 7월 30일 이후 Luna $1 / $6 $0.20 / $1.20 Terra $2.50 / $15 $2 / $12 Sol $5 / $30 동결 Luna 입력이 80% 빠졌습니다. Terra는 20%쯤 내렸고, 최상위인 Sol은 안 움직였습니다. Anthropic 쪽은 Opus 5가 $5/$25로, Fable 5의 절반 값입니다. So...