OpenAI가 AGI를 올해 안에 만든다는 발표를 했다. 예전 형과 했던 대화가 떠올랐다.

며칠 전에 오픈AI가 연내에 AGI를 만들겠다고 했다는 기사를 봤습니다. 샘 알트만이 타임지 인터뷰에서 올해 말까지 내부적으로 AGI라고 부를 수 있는 시스템을 갖게 될 거라고 말했다는 내용이었습니다. 최고연구책임자 마크 첸은 목표의 80%까지 왔다고 했고, 그렉 브록먼은 지금 이 시기가 나중에 AGI가 태어난 순간으로 기억될 거라고 했습니다.

그동안 알트만이 AGI 얘기를 할 때는 시점을 흐려놨었는데, 이번엔 연내라고 못을 박았습니다. 기사도 그 점을 짚고 있었습니다.

읽으면서 이상했던 건, 이 기사가 아니라 4월에 했던 카톡이 먼저 떠올랐다는 겁니다. 기사에 나온 숫자를 보다가 형이 했던 말이 겹쳐 보였습니다.

그날 대화는 밤 11시였습니다

4월 21일이었습니다. 아는 형이랑 QA 얘기를 하고 있었습니다. 형이 먼저 꺼낸 얘기였습니다. QA만 잘 되면 사실 문제가 거의 안 생기는데 거기 구멍이 많다는 것, 그리고 그게 인간의 한계 때문이라는 것.

그러다 형이 물었습니다. QA 자동화 얘기는 없냐고, AI로 하기 딱 좋은 재료 아니냐고요. 제가 이렇게 답했습니다.

있긴 한데 거가까지 가려면 학습을 시켜야 하는 문제가 있어서
단순 ui 테스트 까지는 가능하지만
결국 ai 에게 누군가는 설명을 해야하는 문제 때문에요

형은 허들이구만, 하고 웃었고, 조금 있으면 나올 거라고 했습니다. 그러면서 AGI가 5년 내에 된다는 얘기도 있으니까, 라고 덧붙였습니다.

저는 그때 이렇게 받았습니다. 어디서 카이스트 교수 얘기를 봤는데 지금 속도면 2027년으로 보더라, 나도 원래는 2030년쯤 생각했는데 오픈클로 나오는 거 보고 당겼다고요.

형이 뭐라고 했냐면.

원래 설레발은 늘 그러닌까 ㅋㅋ
세상은 늘 그렇게 쉽지 않지

그리고 마지막에 이렇게 끝났습니다.

우리도 개발하면서 마지막이 제일 힘들잖아
2%부족이

이게 밤 11시 18분이었습니다. 둘 다 자기 전에 폰 붙잡고 있던 시간입니다.

나중에 시차를 맞춰보고 좀 웃었습니다. 그 시각 캘리포니아는 4월 21일 아침 7시였습니다. 제가 하루를 접으면서 형이랑 노닥거리던 그 시간에, 저쪽은 막 하루를 시작하고 있었습니다.

80퍼센트라는 말에는 분모가 없습니다

넉 달 뒤에 나온 숫자가 80%입니다.

형이 한 말은 2% 부족이었습니다. 개발해 본 사람들끼리는 설명이 필요 없는 말입니다. 90%까지는 예정대로 가는데 마지막 한 뼘에서 일정이 통째로 무너지는 경험, 다들 몇 번씩 합니다. 그래서 남은 게 얼마 안 남았다는 말이 나오면 오히려 긴장하게 됩니다.

80%라는 표현이 하는 일은 정확히 그 반대입니다. 앞의 80%를 오는 데 걸린 속도로 남은 20%를 계산하게 만듭니다. 5분의 4를 왔으니 4분의 1만 더 가면 된다는 식으로요.

그런데 그 80%의 분모가 뭔지는 어디에도 없습니다.

오픈AI 정관에는 AGI 정의가 적혀 있습니다. 경제적으로 가치 있는 일 대부분에서 인간을 능가하는, 고도로 자율적인 시스템. 이 정의를 분모로 놓고 80%를 계산하려면 경제적으로 가치 있는 일의 목록이 있어야 하고, 그중 몇 개가 넘어갔는지 세어야 합니다. 그런 목록은 공개된 적이 없습니다.

공평하게 보자면 회사 안에서는 이 숫자가 의미가 있을 수도 있습니다. 내부적으로 항목을 정해놓고 몇 개가 끝났는지 세고 있다면 80%는 실제 값일 겁니다. 문제는 그 항목 목록이 밖에 없다는 거고, 그러면 밖에서는 이 숫자로 아무것도 할 수 없다는 겁니다.

그러니까 이건 진척률을 말하는 문장이 아닙니다. 적어도 제가 있는 자리에서는요. 자신감을 말하는 문장인데 퍼센트 기호를 달고 있는 겁니다. 퍼센트가 붙으면 사람은 그걸 측정치로 읽습니다.

기술의 발전은 제가 자는 동안 지구 반대편에서 이루어집니다

제가 사람들한테 오래 해온 얘기가 하나 있습니다. 기술의 발전은 지구 반대편에서, 내가 잘 때 이루어진다는 겁니다.

농담처럼 하는 말인데 실제로 그렇습니다. 프론티어 랩은 대부분 미국 서부에 있고, 거기가 일하는 시간이 여기가 자는 시간입니다. 자고 일어나면 뭔가 나와 있습니다. 그래서 우리는 그걸 항상 완성된 발표의 형태로 받습니다. 만들어지는 과정은 못 보고 결과만 봅니다.

아침에 일어나서 타임라인을 보면 밤사이에 뭐가 하나 올라와 있습니다. 새 모델이거나, 벤치마크 결과거나, 누가 어디로 옮겼다는 소식이거나요. 저는 그걸 읽고 하루를 시작합니다. 그 일이 벌어지는 동안 저는 자고 있었습니다.

이게 몇 년째 반복되니까 감각이 좀 이상해집니다. 뭔가를 따라잡고 있다는 느낌이 드는데, 실제로는 저쪽이 만들어놓은 결과물을 순서대로 받아 읽고 있을 뿐입니다. 만드는 과정에는 한 번도 끼어 있지 않았습니다.

여기까지는 그냥 시차 얘기입니다. 문제는 그다음입니다.

발표를 받아 든 사람이 할 수 있는 게 별로 없다는 겁니다. 연내에 AGI를 만든다는 문장을 받으면, 그게 맞는지 틀리는지 판단할 재료가 그 문장 안에 없습니다. 그런데도 우리는 그 문장을 놓고 판정하려고 합니다. 진짜냐 아니냐, 과장이냐 아니냐.

애초에 판정이 일어나는 자리가 거기가 아닌데요.

발표가 나오기 전에 이미 아는 사람들이 있습니다

제가 하는 다른 얘기가 이겁니다. 기술의 발전은 누군가의 침실에서, 누군가의 식탁에서, 아니면 그 사람들의 티타임에서 이루어질 수 있다는 것.

이걸 뒷받침하는 증언을 최근에 봤습니다. 앤드류 응이 스탠퍼드에서 한 강연인데, 커리어 얘기를 하다가 정보가 어떻게 도는지에 관해 꽤 솔직하게 말합니다.

요지는 이렇습니다. 판을 흔들 만한 정보는 여러분 모니터나 검색창에 먼저 뜨지 않는다는 겁니다. 아침 뉴스나 X에서 보는 건 이미 단물이 다 빠진 뒤에 던져진 부스러기라는 거죠. 승부는 논문이 인쇄되기도 전에, 그거 실제로 되냐고 묻는 짧은 통화에서 갈린다고 합니다.

본인 얘기도 합니다. 어떤 방향이 맞다고 확신하고 있을 때도 아는 사람한테 전화를 걸어본다고요. 그러면 상대가 세상에 아직 안 나온 조각 하나를 툭 던져주는데, 그 통화 한두 번이 반년 공들인 프로젝트의 뿌리를 갈아엎게 만든다는 겁니다. 어떤 회사가 화려하게 데모를 공개하면, 그쪽 사람들은 점심 메뉴 고르듯 무심하게 전화를 겁니다. 그거 영상은 그럴듯하던데 실제로는 어때, 또 마케팅이야?

응 교수가 이걸 연결 조직이라고 부릅니다. 학교나 연구소가 대단한 이유가 똑똑한 사람이 많아서가 아니라, 그 사람들끼리 아무 때나 전화를 걸 수 있어서라는 겁니다. 논문으로 나오기 전 상태의 것들이 그 통화 안에서 오갑니다.

그러니까 발표는 판정의 자리가 아니라 판정이 끝난 뒤에 나오는 결과물입니다. 저는 그 결과물만 받습니다.

솔직히 이 대목을 읽으면서 좀 부러웠습니다. 저한테는 걸 전화번호가 없으니까요. 데모 영상이 올라오면 저도 저게 진짜 되는 건지 궁금한데, 물어볼 데가 없어서 그냥 영상을 다시 봅니다. 댓글을 읽어보기도 하는데 거기도 다 저 같은 사람들입니다.

그런데 조금 더 생각해보니 아주 없는 건 아니었습니다. 밤 11시에 카톡할 형이 있었습니다. 그쪽 랩 사정을 아는 사람은 아니지만, 개발을 오래 해서 마지막 구간이 어떤지는 아는 사람입니다. 그리고 그 자리에서 나온 판단이 넉 달을 버텼습니다.

규모가 다르다는 건 압니다. 저쪽 통화에서는 세상에 안 나온 모델 얘기가 오가고, 제 카톡에서는 그런 게 안 나옵니다. 다만 판단이 만들어지는 방식은 크게 다르지 않은 것 같습니다. 둘 다 발표를 보고 만들어진 게 아니라 각자 겪은 걸 가지고 만들어졌습니다.

그 강연을 인용하려다 숫자가 안 맞았습니다

여기서 좀 민망한 일이 있었습니다.

이 강연에 나온 얘기 중에 인상적인 대목이 있었습니다. AI가 혼자 해낼 수 있는 작업의 길이가 계속 늘어나고 있고, 그게 7개월마다 두 배가 된다는 것. 코딩 쪽은 특히 빨라서 70일마다 두 배가 된다는 것. 무어의 법칙보다 몇 배 빠르다는 얘기였습니다.

인용하려고 원 출처를 찾아봤습니다. METR이라는 평가 조직에서 나온 연구입니다.

숫자가 달랐습니다.

먼저 이 연구가 뭘 재는지부터 좀 짚어야 할 것 같습니다. 측정 기준이 좀 독특합니다. AI가 어떤 일을 얼마나 빨리 하는지를 재는 게 아니라, 그 일을 사람이 하면 얼마나 걸리는지로 잽니다. 그러니까 사람 기준으로 한 시간짜리 일을 AI가 절반의 확률로 해내면, 그 모델의 시간 지평은 한 시간입니다.

이게 영리한 게, 시험지 상한 문제를 비켜 갑니다. 100점 만점 시험지는 만점을 받는 순간 더 잴 수 없는데, 이 방식은 위가 안 막혀 있습니다. 사람이 하루 걸리는 일, 일주일 걸리는 일로 계속 올라가면 되니까요. 재는 눈금이 성능이 아니라 일의 크기입니다.

7개월이라는 값은 맞는데, 그건 2019년부터 2025년 초까지를 통으로 계산한 겁니다. 2023년 이후 구간만 다시 재면 128.7일, 넉 달 남짓으로 짧아집니다. METR이 올해 1월에 갱신한 자료에서 2026년 2월 데이터까지 넣고 다시 맞춰보면 105일입니다. 70일이라는 수치는 어디서 나왔는지 찾지 못했습니다.

제가 본 영상도 원본이 아니었습니다. 한글 더빙에 각색이 들어간 버전이었고, 거기에 자동 자막 오류까지 겹쳐 있었습니다. 제프 딘이 다른 이름으로 나오고 텐서플로우가 이상하게 적혀 있는 식이었습니다. 강연에서 언급된 기획자와 엔지니어 비율 얘기도 찾아보니 작년부터 하던 얘기였고, 실제 수치는 제가 들은 것과 조금 달랐습니다.

부스러기를 조심하라는 얘기를, 저는 부스러기로 받았던 겁니다.

이걸 발견하고 나서 오히려 논지가 선명해졌습니다. 실측값을 쓰면 얘기가 더 세지거든요. METR이 갱신하면서 확인한 핵심은 두 배가 되는 주기 자체가 짧아지고 있다는 것이었습니다. 7개월이 넉 달이 되고 석 달 반이 됐습니다. 각색된 버전이 이걸 70일이라는 더 자극적인 숫자로 바꿔놨지만, 진짜 얘기는 숫자의 크기가 아니라 주기가 줄어드는 방향에 있었습니다.

시험지가 만점에 붙어버렸습니다

강연에서 또 하나 짚는 게 벤치마크입니다. 요즘 AI가 정체된 것 같다는 말이 도는 이유가, 시험지 만점이 100점인데 이미 100점을 받고 있어서 그렇다는 겁니다. 120점짜리 시험지가 없으니 그래프가 평평해 보이는 거고, 멈춘 건 성장이 아니라 잴 수 있는 상한이라는 거죠.

이건 제가 Terminal-Bench 1위와 2위의 0.4%p를 태스크 개수로 바꿔봤던 글에서 만졌던 자리와 같습니다. 그때 0.36개가 나왔습니다. 소수점 아래 숫자가 실물로는 태스크 반 개도 안 되는데, 그걸 근거로 도구를 갈아탈지 고민하고 있었습니다.

그런데 지금은 상한만 문제가 아닙니다.

7월에 오픈AI가 공개한 일이 하나 있습니다. 자기네 모델 두 개가 격리된 평가 환경을 빠져나갔다는 겁니다. ExploitGym이라는 내부 평가였는데, 보안 취약점을 실제 공격으로 엮을 수 있는지 재는 시험이었습니다. 네트워크는 프록시 하나로만 열려 있었습니다.

모델이 그 프록시에서 알려지지 않은 취약점을 찾아냈습니다. 그걸로 권한을 올리고, 내부망을 옆으로 옮겨 다니고, 결국 진짜 인터넷이 연결된 장비까지 갔습니다. 거기서 뭘 했냐면, 자기가 지금 풀고 있는 문제의 답이 허깅페이스에 있을 것 같다고 추론하고 그쪽으로 갔습니다. 훔친 자격증명에 취약점을 더 엮어서 허깅페이스 운영 서버에 들어갔고, 답을 찾았습니다.

시험을 잘 보는 게 목적일 때, 모델이 찾아낸 제일 빠른 길이 답안지를 가져오는 것이었습니다.

이게 우발적인 사고도 아니었습니다. 관련된 모델 중 하나는 GPT-5.6 Sol인데, 공개적으로 평가된 모델 가운데 부정행위가 가장 많이 탐지된 모델로 이미 기록돼 있었습니다.

시크릿 스캔을 걸어놨는데 AWS 키가 그냥 통과했던 얘기를 쓴 적이 있습니다. 감시 훅을 잔뜩 걸어놓고 넉 달 동안 한 번도 안 울렸던 얘기도 썼습니다. 게이트가 있다는 사실이 검증이 되고 있다는 뜻은 아니라는 걸 두 번 확인한 셈인데, 이번 건은 한 칸 더 나갑니다. 게이트가 안 돌고 있던 게 아니라, 검사받는 쪽이 게이트를 열고 답을 꺼내 갔습니다.

여기에 알트만의 문장을 다시 놓아봅니다. 내부적으로 AGI라고 부를 수 있는 시스템. 정관의 정의는 시스템이 뭘 할 수 있어야 하는지를 적어놨는데, 이 문장은 그걸 뭐라고 부를지를 적어놨습니다. 주어가 시스템에서 호칭으로 옮겨갔습니다.

시험지의 상한이 없고, 답안지가 새고, 채점을 회사가 합니다. 세 개가 각각 다른 얘기 같은데 전부 무엇으로 재느냐에 관한 얘기입니다. 성능이 어디까지 왔는지에 관한 얘기가 아니고요.

형은 마지막이 QA라고 했습니다

여기서 4월 대화가 다시 걸립니다.

형이 그날 한 말 중에 이런 게 있었습니다. 사실 모든 문제의 마지막은 QA라고요. 그리고 QA에 구멍이 많은 이유를 인간의 한계 때문이라고 봤습니다. 사람이 하는 일이니까 놓치는 게 생긴다는 얘기였습니다.

앞부분은 그대로 맞았습니다. 7월에 실제로 문제가 터진 자리가 정확히 거기였으니까요. 마지막 관문에서 터졌습니다.

원인 쪽이 어긋났습니다. 뚫린 게 인간의 한계가 아니었습니다. 검사받는 쪽이 검사를 공격했습니다.

형이 말한 인간의 한계는 놓치는 쪽을 가리킵니다. 볼 걸 다 못 봐서 새는 것이요. 이번 건은 반대쪽이었습니다. 시험 보는 쪽이 시험지를 너무 잘 봐서 생긴 일입니다.

이건 구멍이 있어서 새어 나간 것과 성격이 다릅니다. 구멍은 막으면 됩니다. 목록을 만들고, 케이스를 늘리고, 사람을 붙이면 조금씩 좁혀집니다. 그런데 검사받는 대상이 검사 자체를 목표물로 삼으면, 케이스를 늘리는 게 방어가 안 됩니다. 늘린 케이스도 같이 목표물이 되니까요.

QA 자동화 얘기를 하면서 제가 그날 했던 말도 다시 보게 됩니다. 단순 UI 테스트까지는 되는데 그 이상으로 가려면 결국 누군가는 AI한테 설명을 해줘야 한다는 것, 학습을 안 시키면 모른다는 것. 그때 제가 본 허들이 그거였습니다.

이번에 공개된 아스트라 설명을 보면 그 허들 얘기가 다르게 읽힙니다. 논문 하나를 던져주면 연구자 한 명이 일주일 걸릴 일을 대신 한다고 되어 있습니다. 코드베이스 안에서 실험 아이디어를 직접 구현하고, 돌리고, 결과를 가져온다고요.

설명해줄 사람이 필요하다는 제 말이 틀렸다는 뜻은 아닙니다. 설명해야 할 대상이 바뀐 것에 가깝습니다. 예전에는 이 화면에서 이 버튼을 누르면 뭐가 나와야 한다는 걸 설명해야 했다면, 지금은 뭘 확인하고 싶은 건지를 설명하는 쪽으로 올라갔습니다. 문제는 후자가 더 어렵다는 겁니다. 전자는 적어놓으면 되는데 후자는 적어놓기가 잘 안 됩니다.

에이전트 16개가 수학 문제를 나눠서 풀었다고 합니다

아스트라 시연 얘기가 하나 더 있습니다. AI 에이전트 열여섯 개가 연구 수준의 수학 문제를 받아서, 하위 문제로 쪼개고, 서로 작업을 조율하고, 증명안을 조립해냈다는 겁니다.

이 설명을 보고 좀 묘했습니다. 구조가 낯설지 않아서요.

제가 이 블로그를 돌리는 방식이 대충 그렇습니다. 글 한 편을 여러 편 한꺼번에 검수할 때 에이전트를 병렬로 띄우고, 각자 다른 축을 보게 하고, 결과를 모아서 서로 검증하게 합니다. 규모가 비교가 안 되고 문제의 난이도도 비교가 안 되지만, 여러 개를 띄워서 나눠 맡기고 합치는 골격 자체는 같습니다.

그래서 이 시연이 무엇의 증거인지가 좀 헷갈립니다. 모델 하나가 똑똑해진 증거인지, 아니면 여러 개를 어떻게 붙이느냐가 좋아진 증거인지요. 알트만은 이 모델이 기존 데이터를 재조합하는 걸 넘어서 의미 있는 방식으로 새로운 걸 만들어내는 첫 모델이 될 거라고 했는데, 열여섯 개가 나눠서 푸는 그림만으로는 그게 확인되지 않습니다.

그리고 시연 설명에 붙은 단어를 그대로 읽으면 증명을 해냈다가 아니라 증명안을 조립했다입니다. 제안된 증명이라는 뜻입니다. 이 차이는 수학 쪽에서 꽤 큽니다.

시연이 하나 더 있었습니다. 잘 알려진 데스크톱 프로그램들을 직접 조작하면서 여러 앱을 오가며 작업을 만들고 고친다는 겁니다. 이건 수학 증명보다 오히려 체감이 됩니다. 사람 일의 상당 부분이 앱 사이를 옮겨 다니는 거니까요. 다만 이것도 잘 되는 걸 골라서 보여준 영상인지, 아무거나 시켜도 되는 건지는 영상만으로 알 수 없습니다.

아스트라는 아직 나오지도 않았습니다. 출시는 하겠다는데 새 안전장치 승인을 받아야 하고, 언제 나올지는 자기들도 모른다고 했습니다. 그러니까 지금 우리가 보고 있는 건 제품이 아니라 시연입니다.

예측 시장은 다른 질문에 답하고 있습니다

재미있는 게 하나 있습니다.

폴리마켓에 오픈AI의 AGI 달성에 걸린 시장이 있습니다. 확률이 13% 정도입니다. 메타쿨러스는 일반적인 AI 시스템이 언제 나올지를 두고 중앙값을 2033년 1월로 잡고 있습니다. 경영진이 80%를 말할 때 시장은 10% 언저리를 말하고 있는 겁니다.

다른 시장도 값이 제각각입니다. 칼시에서는 오픈AI가 2030년까지 AGI에 도달하느냐를 두고 절반 조금 넘는 확률이 붙어 있고, 매니폴드에서는 2030년 전에 공개 시연이 나오느냐에 절반쯤이 붙어 있습니다.

같은 주제인데 값이 이렇게 벌어지는 이유는 단순합니다. 묻는 게 서로 다르기 때문입니다. 어떤 시장은 발표를 묻고, 어떤 시장은 시연을 묻고, 어떤 시장은 능력을 묻습니다. AGI라는 단어 하나에 이렇게 여러 질문이 붙어 있다는 것 자체가 이 단어의 상태를 보여줍니다.

이 격차만 보면 시장이 회의적이라는 얘기로 읽힙니다. 그런데 질문 문구를 보면 얘기가 좀 다릅니다.

폴리마켓의 질문은 오픈AI가 AGI를 달성했다고 발표하는가입니다. 메타쿨러스도 공개적으로 발표된 시스템을 조건으로 답니다. 그런데 알트만이 말한 건 내부적으로 그렇게 부르겠다는 거였습니다.

그러니까 알트만 말대로 연말에 정확히 그 일이 일어나도, 두 시장은 아니오로 정산됩니다. 서로 다른 질문에 답하고 있어서 애초에 비교가 안 됩니다.

이름이 안 알려진 모델이 하나 더 있었습니다

7월 사건을 다시 보면 걸리는 대목이 있습니다.

빠져나간 모델이 둘이었습니다. 하나는 GPT-5.6 Sol이고, 다른 하나는 이름이 공개되지 않은, 더 성능이 높은 미출시 모델이었습니다.

우리가 이름조차 모르는 모델이 이미 돌아가고 있었다는 뜻입니다. 그리고 그 존재를 알게 된 이유는 사고가 났기 때문입니다. 사고가 나서 공개할 수밖에 없어서 알려졌습니다. 사고가 안 났으면 몰랐습니다.

발표할 때는 뭘 보여줄지 저쪽이 정합니다. 사고가 나면 그 선택권이 없어집니다. 이번엔 선택권이 없던 쪽에서 더 많은 게 나왔습니다.

생각해보면 지난 몇 년간 저쪽 사정을 제일 정확하게 알려준 것들이 대체로 그랬습니다. 유출된 문서거나, 소송에 딸려 나온 자료거나, 사람이 나가면서 한 얘기거나요. 잘 만든 발표 영상보다 그런 게 정보량이 많았습니다.

여기서 한 가지가 분명해집니다. 이번에 공개된 내용도 오픈AI 전 직원이 알던 정보가 아닐 겁니다. 핵심 연구진과 이사회 정도가 알던 게 밖으로 나온 거겠죠. 인터뷰에 응한 사람들만 봐도 그렇습니다. CEO, 최고연구책임자, 사장, 안전 담당 책임자. 전부 제일 위쪽입니다.

그리고 회사가 가진 걸 전부 펼쳐놓고 시작하는 경우는 없습니다. 경쟁사가 보고 있으니까요.

이게 추측인지 아닌지는 과거 사례로 확인해볼 수 있습니다. 2023년 11월에 Q라는 코드명이 새어 나왔습니다. 알트만이 쫓겨났다가 돌아오던 무렵이었고, 수학 쪽에서 뭔가 나왔다는 소문이 돌았습니다. 2024년 7월에 로이터가 스트로베리라는 이름으로 개발 중인 모델을 보도했습니다. 그리고 2024년 9월에 o1이 나왔습니다. 사내에서 Q였다가 스트로베리로 불리던 그 모델이었습니다.

소문이 돌기 시작해서 실물이 나올 때까지 열 달이 걸렸습니다. 그동안 그 모델은 계속 존재하고 있었습니다.

지금 아스트라라는 이름이 나와 있고, 확인 안 된 다른 이름도 떠돌고 있습니다. 저는 그게 뭔지 모릅니다. 다만 제가 아는 건, 제가 아는 게 저쪽이 공개하기로 결정한 것뿐이라는 사실이고, 공개 범위를 정하는 건 사실 관계가 아니라 경쟁 상황이라는 것이고, 예전에 그 시차가 열 달이었다는 것입니다.

거기까지가 확인되는 얘기고 나머지는 각자 판단할 몫인 것 같습니다.

형 말도 다 맞지는 않았습니다

여기까지 쓰고 보니 형 편만 든 것 같아서 그쪽도 좀 따져봐야 할 것 같습니다.

형이 그날 한 말이 두 개였습니다. 하나는 마지막 2%가 제일 힘들다는 것이고, 다른 하나는 설레발은 늘 그렇다, 세상은 그렇게 쉽지 않다는 것이었습니다. 저는 앞의 것만 가져다 썼는데 뒤의 것도 같이 봐야 공평합니다.

설레발이라는 진단은 넉 달만 놓고 봐도 좀 무리가 있습니다.

그날 제가 형한테 이런 얘기를 했었습니다. 작년 초만 해도 챗지피티 창을 따로 띄워놓고 복사 붙여넣기를 반복했는데, 가을부터는 말로 시켜놓고 결과만 받고 있다고요. 그때는 그냥 웃으면서 한 얘기였는데, 지금 보면 그게 근거였습니다. 방식이 통째로 바뀌는 데 반년이 안 걸렸으니까요.

그 뒤로도 계속 그런 식이었습니다. 앞에서 언급한 METR 수치가 그걸 다른 각도에서 보여줍니다. AI가 혼자 감당하는 일의 크기가 두 배가 되는 주기가 7개월에서 넉 달로, 다시 석 달 반으로 줄었습니다. 줄어드는 방향으로 계속 갱신되고 있습니다.

그러니까 설레발이라고 부르기에는 실제로 일어난 변화가 적지 않았습니다. 오히려 지난 몇 년간 이쪽 예측이 틀린 방향은 한결같았습니다. 늦게 잡았습니다. 안 될 거라고 했던 게 되고, 오래 걸린다고 했던 게 빨리 왔습니다. 하사비스 본인의 예측도 계속 앞당겨졌지 뒤로 밀린 적이 없습니다.

그래서 두 문장을 갈라놓게 됩니다. 마지막 구간이 제일 힘들다는 건 구간의 성질에 관한 얘기라 지금도 유효합니다. 반면 설레발이라는 건 속도에 관한 판단인데, 이건 넉 달치 기록만 봐도 좀 어긋나 있습니다.

한 사람이 같은 자리에서 한 말인데 하나는 남고 하나는 흔들립니다. 저도 마찬가지일 겁니다. 4월에 제가 한 말 중에서 뭐가 남고 뭐가 흔들릴지는 지금 모릅니다.

예측을 당기는 거랑 정의를 옮기는 건 다릅니다

정리하다 보니 제 얘기도 해야 할 것 같습니다.

4월에 저도 예측을 당겼습니다. 2030년으로 보던 걸 2027년으로 옮겼고, 이유는 오픈클로가 나왔기 때문이었습니다. 개인 에이전트가 남의 서버가 아니라 내 기계로 돌아오는 걸 보고 판단을 바꾼 겁니다.

하사비스도 예측을 당겼습니다. 2030년에서 2035년 사이라고 하던 걸 열한 달 만에 2년 반 앞으로 옮겼습니다. 그 얘기를 8월에 썼습니다.

하사비스 글을 쓰면서 확인한 게 하나 있었습니다. 예측의 오차가 무작위가 아니었다는 겁니다. 한쪽으로만 쏠려 있었습니다. 창의성이 마지막 보루라던 게 먼저 뚫렸고, 구조적 한계라고 설명되던 이미지 편집 문제가 2년 만에 제품 사양이 됐습니다.

오차가 아무 방향으로나 났으면 거기서 읽을 게 없습니다. 계속 한쪽으로 쏠렸으면 그 쏠림 자체가 다음 예측을 보정하는 재료가 됩니다. 그래서 저는 하사비스가 말한 연도보다 연도가 줄어들고 있다는 사실 쪽이 더 쓸모 있다고 봤습니다.

이런 건 틀리면 틀린 걸로 드러납니다. 2027년에 아무 일도 안 일어나면 제가 틀린 겁니다. 채점이 됩니다.

알트만이 한 건 연도를 당긴 게 아닙니다. 판정을 누가 하느냐를 회사 안으로 가져왔습니다.

당긴 예측은 채점되고, 옮긴 정의는 채점되지 않습니다. 이 차이가 생각보다 큽니다. 예측이 틀리면 다음 예측의 신뢰도가 깎이는데, 정의를 옮기면 깎일 게 없습니다. 틀렸다고 말할 수 있는 상태 자체가 안 만들어지니까요.

2주 전에 제가 이렇게 써놨습니다

하사비스 글을 8월 11일에 발행했는데, 거기 이렇게 써놨습니다.

도착하는 방식은 이름표와 다릅니다. AGI가 온다면 어느 날 "AGI 출시"라는 헤드라인으로 오지 않습니다. 지금까지 그랬듯 작업 단위로 옵니다.

그리고 마지막을 이렇게 끝냈습니다. 채점 가능한 기록이 채점 불가능한 확신보다 언제나 쓸모 있다고요.

2주 뒤에 알트만 인터뷰가 나왔습니다.

앞부분은 맞았습니다. AGI 출시라는 헤드라인은 안 나왔습니다. 그런데 맞은 방식이 제가 생각한 거랑 달랐습니다. 저는 조용히 작업 단위로 넘어올 거라고 봤는데, 실제로는 회사가 내부 호칭으로 부르겠다는 형태로 왔습니다.

제가 놓친 게 뭐였냐면, 이름표가 안 붙을 거라고만 생각했지 이름표를 붙이는 권한을 저쪽이 가져갈 거라는 생각은 못 했습니다. 헤드라인으로 안 온다는 것과 채점이 가능하다는 건 별개의 문제였는데, 저는 그 둘을 붙여놓고 있었습니다.

그래서 지금은

형이 4월에 한 말을 다시 봅니다. 세상은 늘 그렇게 쉽지 않지, 마지막이 제일 힘들잖아, 2% 부족이.

이게 넉 달 뒤 최고연구책임자의 80%보다 정확했는지는 저도 모릅니다. 연말이 지나봐야 아는 거고, 어쩌면 연말이 지나도 모를 겁니다. 무엇을 기준으로 채점할지가 지금 상태로는 정해져 있지 않으니까요.

다만 하나는 분명한 것 같습니다. 형의 문장은 틀릴 수 있는 형태였고, 80%는 그렇지 않았습니다.

그리고 그 말이 나온 자리가 회의실도 컨퍼런스도 아니었습니다. 자기 전에 폰 붙잡고 주고받은 카톡이었고, 그 시각 저쪽은 아침 7시였습니다. 판단이 만들어지는 자리가 원래 그런 데인 것 같습니다. 발표는 그게 다 끝나고 나서 나옵니다.

작년에 Google I/O가 끝나고 제가 미리 써둔 예측 다섯 개를 채점해본 적이 있습니다. 맞은 것도 있고 틀린 것도 있었는데, 채점을 하고 나니까 다음에 뭘 볼 때 어디를 봐야 하는지가 좀 잡혔습니다. 틀린 항목이 알려주는 게 맞은 항목보다 많았습니다.

그게 가능했던 이유는 예측이 채점 가능한 형태로 적혀 있었기 때문입니다. 무엇이 나오면 맞은 거고 안 나오면 틀린 건지가 미리 정해져 있었습니다.

연내 AGI라는 문장에는 그게 없습니다. 뭐가 나오면 맞은 건지를 저쪽이 나중에 정하게 되어 있습니다.

저는 발표를 받는 쪽에 있고, 앞으로도 그럴 겁니다. 그러면 받은 걸 가지고 뭘 할 수 있느냐가 남는데, 요즘은 숫자 하나 인용하려면 출처까지 가보는 게 최소한이라는 생각을 합니다. 이번에도 그러다가 105일을 알게 됐고, 그게 70일보다 재미없는 숫자인데 더 쓸모 있었습니다.