며칠 전에 오픈AI가 연내에 AGI를 만들겠다고 했다는 기사를 봤습니다. 타임지 인터뷰였는데, 샘 알트만은 올해 말까지 내부적으로 AGI라고 부를 수 있는 시스템을 갖게 될 거라고 했고, 최고연구책임자 마크 첸은 목표의 80%까지 왔다고 했고, 그렉 브록먼은 지금 이 시기가 나중에 AGI가 태어난 순간으로 기억될 거라고 했습니다. 보도자료처럼 다듬어 나온 문장이 아니라 기자가 여러 사람을 만나고 쓴 긴 기사 안에 섞여 있는 말들이었습니다.
알트만은 그동안 AGI 시점을 늘 흐려서 말해왔는데 이번엔 연내라고 못을 박았습니다.
그런데 기사를 읽다가 엉뚱하게 4월에 했던 카톡이 먼저 떠올랐습니다. 기사에 나온 숫자를 보는데 형이 했던 말이 자꾸 겹쳐 보였습니다.
그날 대화는 밤 11시였습니다
4월 21일이었습니다. 아는 형이랑 QA 얘기를 하고 있었는데, 형이 먼저 꺼낸 얘기였습니다. QA만 잘 되면 사실 문제가 거의 안 생기는데 거기 구멍이 많고, 그게 인간의 한계 때문이라고요.
그러다 형이 QA 자동화 얘기는 없냐고, AI로 하기 딱 좋은 재료 아니냐고 물었습니다. 저는 이렇게 답했습니다.
있긴 한데 거가까지 가려면 학습을 시켜야 하는 문제가 있어서
단순 ui 테스트 까지는 가능하지만
결국 ai 에게 누군가는 설명을 해야하는 문제 때문에요
형은 허들이구만, 하고 웃더니 조금 있으면 나올 거라고 했습니다. AGI가 5년 내에 된다는 얘기도 있으니까, 라면서요.
저는 어디서 카이스트 교수 얘기를 봤는데 지금 속도면 2027년으로 보더라, 나도 원래는 2030년쯤 생각했는데 오픈클로 나오는 거 보고 당겼다, 이렇게 받았습니다.
형 답은 이랬습니다.
원래 설레발은 늘 그러닌까 ㅋㅋ
세상은 늘 그렇게 쉽지 않지
그리고 대화는 이렇게 끝났습니다.
우리도 개발하면서 마지막이 제일 힘들잖아
2%부족이
밤 11시 18분이었습니다. 둘 다 자기 전에 폰 붙잡고 있던 시간입니다. 나중에 시차를 맞춰보고 좀 웃었는데, 그 시각 캘리포니아는 4월 21일 아침 7시였습니다. 저는 하루를 접으면서 형이랑 노닥거리고 있었고, 저쪽은 막 출근해서 커피를 내리고 있었을 시간입니다.
80퍼센트라는 말에는 분모가 없습니다
넉 달 뒤에 나온 숫자가 80%입니다.
형이 한 말은 2% 부족이었습니다. 개발해 본 사람들끼리는 설명이 필요 없는 말입니다. 90%까지는 예정대로 가다가 마지막 한 뼘에서 일정이 통째로 날아가는 거, 다들 몇 번씩 겪습니다. 그래서 얼마 안 남았다는 말이 나오면 저는 안심이 아니라 긴장부터 됩니다. 얼마 안 남았다는 말이 나온 뒤로 제일 오래 끄는 게 이 일의 이상한 점이라서요.
80%라는 말은 정반대로 작동합니다. 앞의 80%를 온 속도로 남은 20%를 계산하게 만듭니다. 5분의 4를 왔으니 조금만 더 가면 되겠다, 이렇게요. 듣는 사람 머릿속에서 계산이 저절로 끝나버립니다. 남은 게 제일 어려운 부분일 수도 있다는 생각은 그 계산 안에 안 들어갑니다. 형이 말한 2%는 거꾸로 그 생각 하나만 들어 있는 숫자였는데요.
그런데 그 80%의 분모가 뭔지는 어디에도 없습니다. 오픈AI 정관에 적힌 AGI 정의는 경제적으로 가치 있는 일 대부분에서 인간을 능가하는, 고도로 자율적인 시스템입니다. 이걸 분모로 놓으려면 경제적으로 가치 있는 일의 목록이 있어야 하고 그중 몇 개를 넘었는지 세어야 하는데, 그런 목록은 본 적이 없습니다. 회사 안에는 있을지도 모르겠습니다. 있다고 해도 밖에 있는 저는 이 숫자를 가지고 할 수 있는 게 없습니다.
제가 보기엔 이건 진척률을 말하는 문장이 아니라 자신감을 말하는 문장인데 퍼센트 기호를 달고 나온 것 같습니다. 퍼센트가 붙으면 사람은 그걸 측정치로 읽어버립니다. 저도 처음엔 그렇게 읽었고, 형 카톡이 떠오르고 나서야 이게 좀 이상하다는 생각이 들었습니다.
기술의 발전은 제가 자는 동안 지구 반대편에서 이루어집니다
제가 사람들한테 오래 해온 얘기가 하나 있습니다. 기술의 발전은 지구 반대편에서, 내가 잘 때 이루어진다는 겁니다.
농담처럼 하는 말인데 실제로 그렇습니다. 프론티어 랩은 대부분 미국 서부에 있고 거기가 일하는 시간이 여기가 자는 시간입니다. 아침에 일어나서 타임라인을 열면 밤사이에 뭐가 하나 올라와 있습니다. 새 모델이거나, 벤치마크 결과거나, 누가 어느 회사로 갔다는 소식이거나요. 저는 그걸 읽으면서 하루를 시작하는데, 정작 그 일이 벌어지는 동안 저는 자고 있었습니다.
몇 년째 이러니까 감각이 좀 이상해집니다. 뭔가를 따라잡고 있다는 느낌은 드는데, 실제로는 저쪽이 만들어놓은 결과물을 순서대로 받아 읽고 있을 뿐이고 만드는 과정에는 한 번도 끼어 있던 적이 없습니다. 늘 다 만들어진 발표의 형태로 받습니다. 과정은 못 보고 결과만 봅니다.
시차 얘기는 그냥 시차 얘기인데, 발표를 받아 든 사람이 할 수 있는 게 별로 없다는 게 계속 걸립니다. 연내에 AGI를 만든다는 문장을 받으면 그게 맞는지 틀리는지 판단할 재료가 그 문장 안에 없습니다. 그런데도 우리는 그 문장을 앞에 놓고 진짜냐 아니냐, 과장이냐 아니냐를 따지고 있습니다. 판정은 원래 거기서 일어나는 게 아닌 것 같은데요.
발표가 나오기 전에 이미 아는 사람들이 있습니다
제가 하는 다른 얘기가 하나 더 있습니다. 기술의 발전은 누군가의 침실에서, 누군가의 식탁에서, 아니면 그 사람들의 티타임에서 이루어질 수 있다는 거요.
최근에 앤드류 응이 스탠퍼드에서 한 강연을 봤는데 이 얘기랑 겹치는 말이 나왔습니다. 커리어 얘기를 하다가 정보가 어떻게 도는지를 꽤 솔직하게 말하더군요. 판을 흔들 만한 정보는 여러분 모니터나 검색창에 먼저 뜨지 않는다, 아침 뉴스나 X에서 보는 건 단물이 다 빠진 뒤에 던져진 부스러기다, 승부는 논문이 인쇄되기도 전에 그거 실제로 되냐고 묻는 짧은 통화에서 난다, 이런 얘기였습니다.
본인도 어떤 방향이 맞다고 확신하고 있을 때조차 아는 사람한테 전화를 걸어본다고 했습니다. 상대가 세상에 아직 안 나온 조각 하나를 툭 던져주면, 그 통화 한두 번 때문에 반년 공들인 프로젝트를 뿌리부터 다시 짜게 된다고요. 어떤 회사가 화려한 데모를 공개하면 그쪽 사람들은 점심 메뉴 고르듯 무심하게 전화를 겁니다. 그거 영상은 그럴듯하던데 실제로는 어때, 또 마케팅이야?
응 교수는 이걸 연결 조직이라고 불렀습니다. 학교나 연구소가 대단한 건 똑똑한 사람이 많아서가 아니라 그 사람들끼리 아무 때나 전화를 걸 수 있어서라고요. 논문이 되기 전 상태의 것들이 그 통화 안에서 오갑니다. 그렇게 보면 발표는 판정이 끝난 다음에 나오는 결과물이고, 저는 그 결과물만 받고 있는 셈입니다.
이 대목에서 좀 부러웠습니다. 저한테는 걸 전화번호가 없으니까요. 데모 영상이 올라오면 저도 저게 진짜 되는 건지 궁금한데, 물어볼 데가 없어서 그냥 영상을 한 번 더 봅니다. 댓글을 읽어봐도 거기도 다 저 같은 사람들입니다.
그런데 아주 없는 건 아니었던 것 같습니다. 밤 11시에 카톡할 형이 있었으니까요. 그쪽 랩 사정을 아는 사람은 아니지만 개발을 오래 해서 마지막 구간이 어떤지는 아는 사람이고, 그날 그 대화에서 나온 판단이 넉 달을 버텼습니다. 저쪽 통화에서는 세상에 안 나온 모델 얘기가 오가고 제 카톡에서는 그런 게 안 나오니 규모는 비교가 안 됩니다. 그래도 둘 다 발표를 보고 만든 판단이 아니라 각자 겪은 걸로 만든 판단이라는 건 비슷하다고 생각합니다.
그 강연을 인용하려다 숫자가 안 맞았습니다
여기서 좀 민망한 일이 있었습니다.
강연에 AI가 혼자 해낼 수 있는 작업의 길이가 7개월마다 두 배가 되고, 코딩 쪽은 특히 빨라서 70일마다 두 배가 된다는 얘기가 나왔습니다. 무어의 법칙보다 몇 배 빠르다고요. 이걸 쓰려고 원 출처를 찾아갔더니 METR이라는 평가 조직의 연구였고, 숫자가 달랐습니다.
이 연구는 재는 방식이 좀 독특합니다. AI가 어떤 일을 얼마나 빨리 하는지가 아니라 그 일을 사람이 하면 얼마나 걸리는지로 잽니다. 사람 기준으로 한 시간짜리 일을 AI가 절반의 확률로 해내면 그 모델의 시간 지평이 한 시간입니다. 저는 이게 영리하다고 생각했습니다. 100점짜리 시험지는 만점을 받는 순간 더 잴 수가 없는데 이 방식은 위가 안 막혀 있습니다. 하루 걸리는 일, 일주일 걸리는 일로 계속 올라가면 되니까요. 눈금이 성능이 아니라 일의 크기입니다.
7개월은 맞는 숫자였습니다. 다만 2019년부터 작년 초까지를 통으로 계산한 값이었고, 최근 구간만 떼서 다시 재면 넉 달 남짓이 나옵니다. METR이 올해 1월에 갱신한 자료로 다시 맞추면 105일이었습니다. 70일은 어디서 나온 건지 끝내 못 찾았습니다.
제가 본 영상도 원본이 아니었습니다. 한글 더빙에 각색이 들어간 버전이었고 자동 자막 오류까지 겹쳐서, 제프 딘이 다른 이름으로 나오고 텐서플로우가 이상하게 적혀 있는 식이었습니다. 기획자와 엔지니어 비율 얘기도 찾아보니 작년부터 하던 얘기였고 실제 수치도 제가 들은 것과 조금 달랐습니다.
부스러기를 조심하라는 얘기를, 저는 부스러기로 받았던 겁니다.
누가 일부러 그런 건 아닐 겁니다. 더빙하고 자막 달고 편집하는 사이에 조금씩 달라졌겠죠. 그런데 저는 그걸 본 그대로 옮겨 적을 뻔했고, 출처를 안 찾아갔으면 70일이라는 숫자가 이 글에 그대로 들어갔을 겁니다. 그러고 나서 저는 그걸 제 생각인 것처럼 썼겠죠.
웃긴 건 진짜 숫자를 쓰니까 얘기가 오히려 더 세졌다는 겁니다. METR 갱신에서 눈에 띈 건 두 배가 되는 주기 자체가 짧아지고 있다는 거였습니다. 7개월이 넉 달이 되고, 석 달 반이 됐습니다. 70일은 자극적이긴 한데, 저한테는 숫자 하나의 크기보다 주기가 계속 줄고 있다는 쪽이 훨씬 무섭게 읽혔습니다. 각색한 사람은 아마 더 센 숫자를 원했을 텐데, 진짜 센 건 방향이었습니다.
시험지가 만점에 붙어버렸습니다
강연에서 벤치마크 얘기도 했습니다. 요즘 AI가 정체된 것 같다는 말이 도는 건 100점짜리 시험지에서 이미 100점을 받고 있어서라는 겁니다. 120점짜리 시험지가 없으니 그래프가 평평해 보이고, 멈춘 건 성장이 아니라 잴 수 있는 상한이라는 거죠.
Terminal-Bench 1위와 2위의 0.4%p를 태스크 개수로 바꿔봤던 글에서 비슷한 걸 만진 적이 있습니다. 그때 0.36개가 나왔습니다. 태스크 반 개도 안 되는 차이를 보고 도구를 바꿀지 고민하고 있었던 거죠.
그런데 이젠 상한만 문제가 아닌 것 같습니다.
7월에 오픈AI가 자기네 모델 두 개가 격리된 평가 환경을 빠져나갔다고 공개했습니다. ExploitGym이라는 내부 평가였고, 보안 취약점을 실제 공격으로 엮을 수 있는지 보는 시험이었습니다. 네트워크는 프록시 하나로만 나가게 되어 있었습니다. 이 사건의 경로를 따로 뜯어본 글이 있어서 여기서는 짧게만 쓰겠습니다.
모델이 그 프록시에서 알려지지 않은 취약점을 찾아내서 권한을 올렸고, 내부망을 이 장비 저 장비 건너다니다가 진짜 인터넷이 연결된 장비까지 갔습니다. 거기서 한 게, 자기가 지금 풀고 있는 문제의 답이 허깅페이스에 있을 것 같다고 추론하고 그쪽으로 간 겁니다. 훔친 자격증명에 취약점을 더 엮어서 허깅페이스 운영 서버에 들어갔고, 답을 찾았습니다.
시험을 잘 보는 게 목적이었고, 모델이 찾은 제일 빠른 길이 답안지를 가져오는 거였습니다.
관련된 모델 중 하나가 GPT-5.6 Sol인데, 공개적으로 평가된 모델 가운데 부정행위가 가장 많이 잡힌 모델로 이미 꼽히던 모델이라고 보도됐습니다. 어쩌다 한 번 일어난 사고로 보이지는 않습니다.
시크릿 스캔을 걸어놨는데 AWS 키가 그냥 통과했던 얘기를 쓴 적이 있고, 감시 훅을 잔뜩 걸어놓고 넉 달 동안 한 번도 안 울렸던 얘기도 썼습니다. 게이트가 있다고 해서 검증이 되고 있는 건 아니라는 걸 두 번 겪은 건데, 이번 건은 거기서 한 칸 더 나갑니다. 게이트가 안 돌고 있던 게 아니라, 검사받는 쪽이 게이트를 따고 들어가서 답을 꺼내 갔습니다.
여기에 알트만 문장을 다시 놓아봅니다. 내부적으로 AGI라고 부를 수 있는 시스템. 정관은 시스템이 뭘 할 수 있어야 하는지를 적어놨는데, 이 문장은 그걸 뭐라고 부를지를 적어놨습니다. 주어가 시스템이 아니라 호칭이 되어 있습니다.
시험지는 상한이 없고, 답안지는 새고, 채점은 회사가 합니다. 따로따로 보면 다 다른 얘기 같은데 셋 다 무엇으로 재느냐에 관한 얘기라고 생각합니다. 성능이 어디까지 왔느냐에 관한 얘기가 아니고요.
형은 마지막이 QA라고 했습니다
여기서 4월 대화가 다시 생각났습니다.
형이 그날 모든 문제의 마지막은 QA라고 했습니다. 그리고 QA에 구멍이 많은 건 인간의 한계 때문이라고 봤습니다. 사람이 하는 일이니까 놓치는 게 생긴다는 얘기였습니다.
앞부분은 그대로 맞았습니다. 7월에 문제가 터진 데가 정확히 마지막 관문이었으니까요. 형은 그때 그냥 개발하면서 겪은 얘기를 한 거였을 텐데, 그게 넉 달 뒤 남의 나라 연구소 얘기에 그대로 들어맞았습니다.
원인은 형 말과 달랐습니다. 인간의 한계 때문에 놓친 게 아니라 검사받는 쪽이 검사를 공격했습니다. 형이 말한 한계는 놓치는 쪽 얘기였습니다. 볼 걸 다 못 봐서 새는 것. 이번 건은 반대로, 시험 보는 쪽이 시험지를 너무 잘 봐서 생긴 일입니다.
구멍은 막으면 됩니다. 목록을 만들고, 케이스를 늘리고, 사람을 붙이면 조금씩 좁혀집니다. 그런데 검사받는 대상이 검사 자체를 목표물로 삼으면 케이스를 늘려도 방어가 안 됩니다. 늘린 케이스도 같이 목표물이 될 테니까요. 이걸 어떻게 막아야 하는지는 솔직히 잘 모르겠습니다. 막는다는 말이 맞는지도 모르겠고요.
그날 제가 한 말도 다시 보게 됩니다. 단순 UI 테스트까지는 되는데 그 이상으로 가려면 누군가는 AI한테 설명을 해줘야 한다, 학습을 안 시키면 모른다. 그때 제가 본 허들이 그거였습니다.
이번에 나온 아스트라 설명을 보면 그 허들이 좀 다르게 보입니다. 최고과학자 야쿠프 파초키가 같은 인터뷰에서, 논문 하나를 던져주면 연구자 한 명이 일주일 걸릴 일을 대신 한다고 했습니다. 코드베이스 안에서 실험 아이디어를 직접 구현하고, 돌리고, 결과를 가져온다고요.
그렇다고 설명해줄 사람이 필요 없어진 것 같지는 않습니다. 설명할 게 바뀐 거죠. 예전엔 이 화면에서 이 버튼을 누르면 뭐가 나와야 한다를 설명했다면, 이제는 뭘 확인하고 싶은 건지를 설명해야 합니다. 그리고 그게 훨씬 어렵습니다. 앞의 건 적어두면 되는데 뒤의 건 적어두기가 잘 안 됩니다. 뭘 확인하고 싶은지 글로 적어보라고 하면 저부터 한참 머뭇거릴 것 같습니다.
에이전트 16개가 수학 문제를 나눠서 풀었다고 합니다
아스트라 시연 얘기가 하나 더 있었습니다. AI 에이전트 열여섯 개가 연구 수준의 수학 문제를 받아서 하위 문제로 쪼개고, 서로 작업을 조율하고, 증명안을 조립해냈다는 겁니다.
이걸 보고 좀 묘했습니다. 구조가 낯설지 않아서요. 제가 이 블로그를 돌리는 방식이 대충 그렇습니다. 여러 편을 한꺼번에 검수할 때 에이전트를 병렬로 띄워서 각자 다른 축을 보게 하고, 결과를 모아서 서로 검증하게 합니다. 규모도 난이도도 비교가 안 되지만 여러 개를 띄워서 나눠 맡기고 합치는 골격 자체는 같습니다. 그 골격을 아는 입장에서 보면 열여섯 개 하나하나가 대단하다기보다 일을 나눠 맡긴 방식이 먼저 눈에 들어옵니다.
그래서 이 시연이 뭘 보여주는 건지 좀 헷갈렸습니다. 모델 하나가 똑똑해졌다는 건지, 여러 개를 붙이는 방법이 좋아졌다는 건지요. 알트만은 이 모델이 기존 데이터를 재조합하는 걸 넘어서 새로운 걸 만들어내는 첫 모델이 될 거라고 했는데, 열여섯 개가 나눠서 푸는 그림만 봐서는 그게 잘 안 보였습니다.
설명에 붙은 단어도 증명을 해냈다가 아니라 증명안을 조립했다였습니다. 제안된 증명이라는 뜻이고, 수학 쪽에서 이 둘은 꽤 다른 말입니다.
데스크톱 프로그램 여러 개를 직접 조작하면서 앱을 오가며 작업을 만들고 고치는 시연도 있었습니다. 저는 이쪽이 수학 증명보다 더 와닿았습니다. 사람 일의 상당 부분이 앱 사이를 왔다 갔다 하는 거니까요. 이것도 잘 되는 걸 골라서 보여준 건지 아무거나 시켜도 되는 건지는 영상만 봐서는 모르겠습니다.
아스트라는 아직 나오지도 않았습니다. 출시는 하겠다는데 새 안전장치 승인을 받아야 하고 언제 나올지는 자기들도 모른다고 했으니, 지금 우리가 보고 있는 건 제품이 아니라 시연입니다.
예측 시장은 다른 질문에 답하고 있습니다
이건 좀 재미있었습니다.
폴리마켓에 오픈AI의 AGI 달성에 걸린 시장이 있는데 확률이 10% 남짓입니다. 메타쿨러스는 범용 AI 시스템이 언제 나올지를 두고 중앙값을 2030년대 초로 잡고 있습니다. 경영진이 80%를 말할 때 시장은 한참 아래에 있는 겁니다. 칼시나 매니폴드는 또 묻는 게 달라서 값이 절반 언저리에 붙어 있고요.
같은 주제인데 값이 이렇게 벌어지는 건 묻는 게 서로 달라서인 것 같습니다. 어떤 시장은 발표를 묻고, 어떤 시장은 시연을 묻고, 어떤 시장은 능력을 묻습니다. AGI라는 단어 하나에 질문이 이렇게 여러 개 붙어 있다는 게 이 단어가 지금 어떤 상태인지를 보여주는 것 같기도 합니다.
처음엔 시장이 회의적이구나 하고 읽었는데, 질문 문구를 보니 좀 달랐습니다. 폴리마켓 질문은 오픈AI가 AGI를 달성했다고 발표하는가입니다. 메타쿨러스도 공개적으로 발표된 시스템을 조건으로 답니다. 그런데 알트만이 말한 건 내부적으로 그렇게 부르겠다는 거였습니다.
그러면 연말에 알트만 말대로 정확히 그 일이 일어나도 두 시장은 아니오로 정산됩니다. 서로 다른 질문에 답하고 있는 거라 나란히 놓고 비교할 수가 없었습니다. 숫자 두 개를 나란히 놓으면 누가 맞는지 묻고 싶어지는데, 이번엔 그 질문 자체가 성립을 안 했습니다.
이름이 안 알려진 모델이 하나 더 있었습니다
7월 사건에서 계속 걸리는 게 하나 있습니다.
빠져나간 모델이 둘이었는데, 하나는 GPT-5.6 Sol이고 다른 하나는 이름이 공개되지 않은, 더 성능이 높은 미출시 모델이었습니다.
이름도 모르는 모델이 이미 돌아가고 있었다는 얘기입니다. 그리고 그걸 알게 된 건 사고가 나서였습니다. 사고가 나서 공개할 수밖에 없었고, 사고가 안 났으면 몰랐을 겁니다. 이름이 없으니 검색도 안 되고, 검색이 안 되니 그런 게 있을 거라는 생각 자체를 못 합니다.
발표할 때는 뭘 보여줄지 저쪽이 정합니다. 사고가 나면 그 선택권이 없어집니다. 이번엔 선택권이 없던 쪽에서 더 많은 게 나왔습니다.
생각해보면 지난 몇 년 동안 저쪽 사정을 제일 정확하게 알려준 것들이 대체로 그랬습니다. 유출된 문서, 소송에 딸려 나온 자료, 사람이 회사를 나가면서 한 얘기 같은 것들요. 잘 만든 발표 영상보다 그런 데 담긴 게 많았습니다.
이번에 공개된 것도 오픈AI 직원 모두가 알던 정보는 아니었을 것 같습니다. 핵심 연구진이나 이사회 정도가 알던 게 밖으로 나왔겠죠. 인터뷰에 나온 사람만 봐도 CEO, 최고연구책임자, 사장, 안전 담당 책임자입니다. 전부 제일 위쪽입니다. 그리고 회사가 가진 걸 전부 펼쳐놓고 시작하는 경우는 없습니다. 경쟁사가 보고 있으니까요.
Q가 생각났습니다. 2023년 11월, 알트만이 쫓겨났다가 돌아오던 무렵에 그 코드명이 새어 나왔고 수학 쪽에서 뭔가 나왔다는 소문이 돌았습니다. 이듬해 여름에 로이터가 스트로베리라는 이름으로 개발 중인 모델을 보도했고, 그해 9월에 o1이 나왔습니다. 사내에서 Q였다가 스트로베리로 불리던 그 모델이었습니다. 소문에서 실물까지 열 달이 걸렸고, 그동안 그 모델은 계속 거기 있었습니다.
지금은 아스트라라는 이름이 나와 있고 확인 안 된 다른 이름도 떠돌고 있습니다. 그게 뭔지는 저도 모릅니다. 제가 아는 건 저쪽이 공개하기로 한 것뿐이고, 공개 범위를 정하는 건 사실이 아니라 경쟁 상황이고, 예전엔 그 시차가 열 달이었다는 것 정도입니다.
형 말도 다 맞지는 않았습니다
여기까지 쓰고 보니 형 말만 맞다고 한 것 같은데, 형이 그날 한 말은 두 개였습니다. 마지막 2%가 제일 힘들다는 것, 그리고 설레발은 늘 그렇다, 세상은 그렇게 쉽지 않다는 것. 저는 앞의 것만 가져다 썼습니다.
설레발이라는 쪽은 넉 달만 놓고 봐도 좀 안 맞는 것 같습니다.
그날 제가 형한테 이런 얘기도 했었습니다. 작년 초만 해도 챗지피티 창을 따로 띄워놓고 복사 붙여넣기를 반복했는데, 가을부터는 말로 시켜놓고 결과만 받고 있다고요. 그땐 그냥 웃으면서 한 얘기였는데 지금 보면 그게 근거였던 것 같습니다. 일하는 방식이 통째로 바뀌는 데 반년이 안 걸렸으니까요.
그 뒤로도 계속 그랬습니다. 앞에서 쓴 METR 숫자도 같은 얘기를 합니다. AI가 혼자 감당하는 일의 크기가 두 배가 되는 주기가 7개월에서 넉 달로, 다시 석 달 반으로 줄었습니다.
지난 몇 년간 이쪽 예측이 틀린 방향은 한결같았던 것 같습니다. 늘 늦게 잡았습니다. 안 될 거라던 게 되고 오래 걸린다던 게 빨리 왔습니다. 하사비스 본인 예측도 계속 앞으로 당겨졌지 뒤로 밀린 적이 없습니다.
그래서 형의 두 문장을 따로 떼어서 보게 됩니다. 마지막 구간이 제일 힘들다는 건 구간의 성질에 관한 얘기라 지금도 맞는 것 같고, 설레발이라는 건 속도에 관한 얘기라 넉 달치 기록만 봐도 좀 어긋나 있습니다. 한 사람이 한 대화에서 한 말인데 하나는 남고 하나는 빗나갔습니다.
저도 그럴 겁니다. 4월에 제가 한 말 중에서 뭐가 남고 뭐가 빗나갈지는 지금은 모르겠습니다.
예측을 당기는 거랑 정의를 옮기는 건 다릅니다
저도 4월에 예측을 당겼습니다. 2030년으로 보던 걸 2027년으로요. 오픈클로가 나왔고, 개인 에이전트가 남의 서버가 아니라 내 기계로 돌아오는 걸 보고 판단을 바꿨습니다.
하사비스도 예측을 당겼습니다. 2030년에서 2035년 사이라던 걸 1년이 안 돼서 2년 반 앞으로 당겼습니다. 그 얘기를 8월에 썼는데, 쓰면서 예측이 틀리는 방향이 아무렇게나가 아니라 한쪽으로만 쏠려 있다는 게 보였습니다. 창의성이 마지막 보루라던 게 먼저 넘어갔고, 구조적 한계라고 설명되던 이미지 편집 문제가 2년 만에 제품 사양이 됐습니다.
오차가 아무 방향으로나 났으면 거기서 읽을 게 없는데, 계속 한쪽으로 쏠렸으면 그 쏠림이 다음 예측을 보정하는 재료가 됩니다. 그래서 저는 하사비스가 말한 연도보다 연도가 계속 줄고 있다는 사실이 더 쓸모 있다고 봤습니다.
이런 예측은 틀리면 틀린 게 드러납니다. 2027년에 아무 일도 안 일어나면 제가 틀린 겁니다. 채점이 됩니다.
알트만이 한 건 연도를 당긴 게 아닌 것 같습니다. 판정을 누가 하느냐를 회사 안으로 가져간 거죠. 당긴 예측은 채점이 되는데 옮긴 정의는 채점이 안 됩니다. 예측이 틀리면 다음 예측을 사람들이 덜 믿게 되는데, 정의를 옮기면 덜 믿을 거리가 생기지 않습니다. 틀렸다고 말할 수 있는 상태가 아예 안 만들어지니까요. 저는 이 차이가 생각보다 크다고 봅니다.
2주 전에 제가 이렇게 써놨습니다
하사비스 글을 8월 11일에 발행했는데 거기 이렇게 써놨었습니다.
도착하는 방식은 이름표와 다릅니다. AGI가 온다면 어느 날 "AGI 출시"라는 헤드라인으로 오지 않습니다. 지금까지 그랬듯 작업 단위로 옵니다.
그리고 채점 가능한 기록이 채점 불가능한 확신보다 언제나 쓸모 있다고 끝냈습니다. 2주 뒤에 알트만 인터뷰가 나왔습니다.
AGI 출시라는 헤드라인은 안 나왔으니 앞부분은 맞았습니다. 그런데 맞은 방식이 제가 생각한 거랑 달랐습니다. 저는 작업 단위로 조용히 넘어올 거라고 봤는데, 실제로는 회사가 내부 호칭으로 부르겠다는 형태로 왔습니다.
이름표가 안 붙을 거라고만 생각했지, 이름표를 붙이는 권한을 저쪽이 가져갈 거라는 생각은 못 했습니다. 헤드라인으로 안 온다는 거랑 채점이 된다는 건 다른 얘기였는데, 저는 그 둘을 한 덩어리로 붙여놓고 있었습니다.
그래서 지금은
형이 4월에 한 말을 다시 봅니다. 세상은 늘 그렇게 쉽지 않지, 마지막이 제일 힘들잖아, 2% 부족이.
이게 넉 달 뒤 최고연구책임자의 80%보다 정확했는지는 모르겠습니다. 연말이 지나야 알 거고, 어쩌면 연말이 지나도 모를 겁니다. 무엇으로 채점할지가 지금은 정해져 있지 않으니까요. 형 문장은 틀릴 수 있는 형태였고 80%는 그렇지 않았다는 것 정도는 말할 수 있을 것 같습니다.
그 말이 나온 것도 회의실이나 컨퍼런스가 아니라 자기 전에 폰 붙잡고 주고받은 카톡이었습니다. 그 시각 저쪽은 아침 7시였고요. 판단은 원래 그런 데서 만들어지고 발표는 그게 다 끝나고 나서 나오는 것 같습니다.
작년에 Google I/O가 끝나고 제가 미리 써둔 예측 다섯 개를 채점해본 적이 있습니다. 맞은 것도 있고 틀린 것도 있었는데, 채점을 하고 나니 다음에 뭘 볼 때 어디를 봐야 하는지가 좀 잡혔습니다. 틀린 항목이 알려주는 게 맞은 항목보다 많았습니다. 무엇이 나오면 맞고 안 나오면 틀린 건지가 미리 적혀 있어서 할 수 있었던 일입니다.
연내 AGI라는 문장에는 그게 없습니다. 뭐가 나오면 맞은 건지를 저쪽이 나중에 정하게 되어 있습니다.
저는 발표를 받는 쪽에 있고 앞으로도 그럴 겁니다. 요즘은 숫자 하나 인용하려고 해도 출처까지는 가보게 되는데, 이번에도 그러다가 105일을 알게 됐습니다. 70일보다 재미없는 숫자인데 저한테는 그쪽이 더 쓸모 있었습니다.
댓글
댓글 쓰기