AI 안전 표준기구 뉴스를 보고, 제 harness에서 지웠던 grep 한 줄이 떠올랐습니다

제 블로그 발행 스크립트에 grep 한 줄이 들어 있었습니다. 파일을 열어서 판정: 합격 이라는 문자열이 있는지 찾는 코드였고, 두 달 반쯤 돌리다가 7월 말에 지웠습니다.

그 한 줄이 오늘 갑자기 떠올랐습니다. 앤트로픽과 오픈AI, 구글이 AI 안전 표준기구를 같이 세우는 걸 논의하고 있다는 기사를 읽던 중이었습니다.

규모가 전혀 다른 이야기를 갖다 붙이는 것처럼 보일 겁니다. 한쪽은 프런티어 모델을 만드는 회사들이고 한쪽은 혼자 굴리는 블로그 파이프라인이니까요. 그런데 제가 그 grep 을 지우면서 얻은 게 하나 있는데, 그게 하필 이번 뉴스를 읽는 데 그대로 쓰였습니다. 그래서 그 얘기를 먼저 하고 뉴스는 뒤에 붙이겠습니다. 순서가 반대면 제가 하려는 말이 안 남을 것 같습니다.

검문소와 통행증 발급처가 같았습니다

당시 이 레포에는 보안 기준선이라는 게 번호로 붙어 있었고, 그중 하나가 "게이트 불합격 글은 업로드 차단" 이었습니다. 문장만 보면 꽤 단단해 보입니다. 실제로 하는 일은 이랬습니다.

발행 스크립트가 글을 올리기 전에 _workspace/briefs/{slug}-ai-check.md 라는 파일을 엽니다. 그 안에 판정: 합격 이라는 문자열이 있으면 발행하고, 없으면 멈춥니다. 딱 그겁니다.

문제는 그 파일을 누가 쓰느냐입니다.

AI 문체 검사를 맡은 에이전트가 씁니다. 자기가 쓴 글을 자기가 읽고, 검사 결과를 자기가 파일에 적고, 코드는 그 파일에서 문자열을 찾습니다. 검사받는 쪽이 통행증을 발급하고, 검문소가 그 통행증을 확인하는 구조였습니다.

처음 이걸 걸었을 때는 기분이 좋았습니다. 파이프라인에 단단한 게 하나 생긴 느낌이었거든요. 문서에도 자신 있게 적어뒀습니다. 불합격이면 못 나간다고요.

그 느낌이 깨진 건 발행이 한 번 막혔을 때입니다. 원인을 찾으려고 브리프 파일을 열어봤는데, 거기 적혀 있는 문장이 제가 봐도 근거가 없었습니다. 무엇을 보고 그렇게 판정했는지가 파일 어디에도 없었습니다. 판정만 있고 검사가 없었습니다. 그제야 반대쪽이 궁금해졌습니다. 통과한 글들에는 뭐가 적혀 있었을까.

열어보니 똑같았습니다. 문장 형태만 조금씩 다르고, 판정 줄은 전부 같은 모양이었습니다.

그 순간에 제일 먼저 든 생각은 "그럼 지금까지 이게 뭘 막은 거지" 였습니다. 두 달 반 동안 이 게이트에 걸린 글이 몇 편 있었는데, 그게 글이 나빠서 걸린 게 아니라는 걸 그때 알았습니다.

지우기 전에 세 가지를 확인했습니다

편해지려고 지운 게 아니라는 걸 저 자신에게 먼저 설명해야 했습니다. 게이트를 빼는 건 항상 변명처럼 보이니까요. 그래서 제거 근거를 세 가지로 적어뒀는데, 이번 뉴스를 읽으면서 그대로 다시 꺼내 쓰게 됐습니다.

하나는 방금 말한 자기 채점입니다. 코드가 찾는 문자열을 검사받는 쪽이 썼습니다. 이 게이트가 실제로 검사한 것은 글의 품질이 아니라 서류의 존재였습니다. 이 문장이 나중에 제일 오래 남았습니다.

다른 하나는 오탐입니다. 품질 게이트 쪽은 파일 전체에서 \bFAIL\b 를 찾고 있었습니다. 그러니까 브리프에 "FAIL 조건 없음" 이라고 적혀 있어도 걸립니다. FAIL 이라는 글자가 스치기만 하면 정상적인 글의 발행이 막혔습니다. 이건 그냥 버그라고 볼 수도 있는데, 저는 이걸 버그로 안 보게 됐습니다. 검사 대상을 문자열로 잡은 순간 이런 종류의 사고는 계속 납니다.

마지막이 결정적이었습니다. 실패 모드가 반대로 나 있었습니다. 나쁜 글은 통과합니다. 합격이라고 적으면 되니까요. 좋은 글은 막힙니다. 브리프 파일을 안 만들었거나 거기 FAIL 이라는 글자가 스쳤으면 그걸로 끝입니다. 게이트가 걸러야 할 방향의 정확히 반대로 걸러내고 있었습니다.

세 번째를 적고 나니까 더 볼 게 없었습니다. 이건 튜닝으로 고칠 수 있는 게 아니라 종류가 틀린 거였습니다.

그래도 지우는 데는 시간이 좀 걸렸습니다. 하네스에서 가드레일을 빼는 일이 넣는 일보다 어렵다고 따로 한 편 쓴 적이 있는데, 그때 적은 이유가 이거였습니다. 규칙을 넣을 때는 "혹시 모르니까" 하나면 충분한데, 뺄 때는 "안 빼도 되는 이유" 를 전부 이겨야 합니다. 없애도 아무 일 안 일어난다는 걸 증명하는 건 원래 안 됩니다.

그래서 제가 들고 있는 질문이 바뀌었습니다

게이트 자체가 틀렸다는 결론으로 가지는 않았습니다. 그건 게으른 결론이고, 제 경우에는 사실도 아니었습니다. 같은 레포에서 멀쩡히 돌아가고 있는 게이트가 있었거든요.

커밋 직전에 시크릿을 찾는 훅입니다. 파일 안에 특정 키 패턴이 있느냐를 봅니다. 여기서 중요한 건 이겁니다. 그 값은 모델이 뭐라고 주장해도 안 바뀝니다. AWS 키 형태의 문자열이 파일에 있으면 있는 거고, 없으면 없는 겁니다. 에이전트가 "안전합니다" 라고 브리프에 적어도 grep 결과는 그대로입니다.

그때 세운 기준이 이겁니다.

검사 결과를 검사받는 쪽이 쓸 수 있는가. 쓸 수 있으면 그건 게이트가 아니라 서류 확인이다.

자율규제냐 아니냐가 갈림길이 아니라는 얘기이기도 합니다. 남이 검사한다고 다 되는 것도 아니고, 자기가 검사한다고 다 안 되는 것도 아닙니다. 검사 결과가 검사받는 쪽의 펜에서 나오느냐만 봅니다.

덧붙여야 공정한 게 하나 있습니다. 그 시크릿 스캔도 한 번 뚫렸습니다. 훅을 걸어뒀는데 AWS 키가 그대로 통과한 적이 있고, 원인은 훅이 실제로 커밋되는 내용이 아니라 다른 걸 보고 있었다는 거였습니다. 그러니까 "모델 출력과 무관한 사실을 검사한다" 는 조건은 필요조건이지 충분조건이 아닙니다. 방향이 맞다는 것뿐이고, 그 안에서 또 틀릴 수 있습니다. 제 쪽 게이트를 좋은 예로 들면서 거기는 안 뚫렸다는 식으로 쓰면 그건 제가 지금 비판하려는 태도와 똑같아집니다.

게이트를 지운 다음에 아무것도 안 한 것도 아닙니다. 판정 라벨을 체크리스트로 바꿨습니다. "합격/불합격" 대신 줄 단위로 어디를 어떻게 고쳤는지를 남깁니다. 판정은 사라졌고 검토는 남았습니다. 이게 약해진 건지 아닌지는 아직도 가끔 헷갈리는데, 적어도 지금은 파일을 열면 뭘 봤는지가 보입니다. 예전에는 판정만 보였습니다.

이번 뉴스에서 제가 먼저 본 건 날짜였습니다

이제 뉴스 쪽입니다.

다리오 아모데이가 지난 12일에 「We Must Pace the Frontier」라는 에세이를 냈습니다. 프런티어 AI 개발 속도를 늦추자는 것, 그리고 독립적인 외부 평가기관이 기업 내부 직원과 같은 수준으로 기술에 접근해 안전성을 검증할 수 있게 하자는 것이 골자입니다. 재귀적 자기개선, 그러니까 AI 가 자기 후속 모델을 설계하거나 훈련하는 건 하더라도 극히 신중하게 해야 한다고 못 박았고, 인간의 목표에 반해 움직이는 에이전트 군집이 6~12개월 안에 인터넷을 장악하는 시나리오도 함께 경고했습니다. 단계는 셋으로 나눠 제시했습니다. 랩 내부에 독립 평가자를 배치하고, 그다음 민주적 조율로 가고, 마지막이 글로벌 조율입니다.

여기서 미리 적어둘 게 있습니다. 저는 이 에세이 원문을 직접 읽지 않았습니다. 워싱턴포스트 보도와 국내 인용 보도로만 확인했습니다. 그러니 아래에서 제가 하는 이야기는 에세이에 대한 반응이 아니라, 보도된 요지에 대한 반응입니다.

이 제안에 공개적으로 동의를 표한 곳이 빠르게 늘었습니다. 샘 알트먼이 동조했고, 데미스 하사비스는 "세부적인 사항은 보완해야 하지만, 이 중요한 시기에 필요한 방향을 제시하고 있는 것은 분명하다" 고 했습니다. 일론 머스크도 붙었고, 사티아 나델라는 "초지능을 향한 모든 추진은 인간에게 도움이 되고 인간의 통제 아래 있어야 한다" 면서 "의도적인 속도 조절을 환영한다" 고 말했습니다. AI타임스가 이걸 안전 연합전선이 다섯 곳으로 늘었다고 정리했습니다.

그리고 하루 뒤에 워싱턴포스트가 표준기구 논의를 보도했습니다. 앤트로픽·오픈AI·구글의 CEO 아래 직급 실무그룹이 정기적으로 만나 왔고, 최근 한 주 사이에도 회동했다는 내용입니다. 논의 중인 권한은 공동 안전 표준을 만드는 것, 프런티어 모델을 테스트하는 것, 미국 정부와 감독을 조율하는 것입니다. 국내에서는 AI타임스가 같은 날 이 논의를 옮겼습니다.

제가 기사에서 제일 먼저 멈춘 지점은 권한 목록이 아니라 7월 이라는 단어였습니다.

실무그룹 회동이 7월부터입니다. 아모데이의 공개 제안은 9월입니다. 그러니까 순서가 "제안이 나왔고 업계가 호응했다" 가 아닙니다. 이미 두 달 넘게 돌아가던 논의가 있었고, 공개 제안은 그 위에 얹힌 겁니다.

이게 음모라는 얘기를 하려는 게 아닙니다. 회사들이 미리 실무 협의를 하는 건 당연한 일이고, 오히려 그렇게 안 하는 쪽이 이상합니다. 제가 짚고 싶은 건 읽는 순서가 바뀌면 그림도 바뀐다는 쪽입니다. 며칠 사이에 제안과 동조가 연쇄적으로 일어난 것처럼 보이는 장면이 실제로는 준비된 논의의 대외 창구였을 수 있습니다. 그리고 그 차이는 이 표준기구가 나중에 어떤 성격을 가질지에 영향을 줍니다. 밖에서 요구가 들어와서 만들어지는 기구와, 안에서 먼저 합의하고 나중에 바깥 동의를 받는 기구는 같은 이름을 달아도 같은 물건이 아닙니다.

한 가지 더 적어둡니다. 이건 업계 전체의 합의가 아닙니다. 동참하지 않는 회사들이 있고, 트럼프 행정부는 속도 조절 자체에 반대하는 입장입니다.

아모데이의 1단계는 제 기준을 통과할 수도 있습니다

여기서부터가 제가 실제로 갈리는 지점이라고 보는 자리입니다.

"랩 내부에 독립 평가자를 배치한다" 는 1단계는, 표현만 보면 제가 지운 그 게이트와 비슷해 보입니다. 검사받는 쪽 건물 안에 검사자가 들어와 있는 거니까요. 그런데 제 기준으로 보면 이건 통과할 수도 있습니다. 판정을 쓰는 손이 평가자의 손이고, 그 평가자가 랩 바깥에서 오고, 자금줄이 분리돼 있다면 그 판정은 검사받는 쪽이 쓴 문자열이 아닙니다. 물리적으로 어디에 앉아 있느냐는 제 질문의 대상이 아닙니다.

문제는 바로 그 조건이 지금 정확히 공격받고 있다는 겁니다.

데이비드 색스가 13일에 X 에 올린 글에서 이렇게 말했다고 합니다. "METR 이 앤트로픽의 투자자·직원과 얽혀 있는데 독립적인 척하지 마라." 이것도 미리 적어두면, 저는 색스의 게시물 원문을 보지 않았고 리즌의 정리 기사를 비롯한 인용 보도로만 확인했습니다.

이 지적이 중요한 이유는 색스가 안전을 우습게 본다고 말한 게 아니기 때문입니다. 그는 자금줄 을 문제 삼았습니다. 평가기관이 독립적인지는 그 기관이 자기를 뭐라고 부르느냐가 아니라 누구 돈으로 돌아가느냐에 달렸다는 얘기입니다.

그러니까 아모데이와 색스는 지금 반대편에 서 있는 것처럼 보이지만, 둘 다 같은 자리를 보고 있습니다. 판정을 쓰는 손이 누구 손이냐. 아모데이는 그 손을 바깥에서 데려오자고 하고, 색스는 데려온 그 손이 이미 안쪽과 묶여 있다고 합니다. 찬반으로 읽으면 이 공통점이 안 보이는데, 저는 이게 이번 논쟁에서 제일 생산적인 부분이라고 봅니다.

제 레포 일로 바꿔서 말하면 이렇습니다. 제가 그때 게이트를 살리려고 했다면 방법이 하나 있긴 했습니다. 검사 브리프를 쓰는 에이전트를 본문 쓰는 에이전트와 분리하는 겁니다. 실제로 그 구조이긴 했습니다. 그런데 둘 다 같은 모델이고, 같은 시스템 프롬프트 계열을 공유하고, 같은 세션에서 돌았습니다. 이름만 나뉘어 있었지 판정을 쓰는 손은 하나였습니다. 색스가 METR 을 두고 하는 말이 구조적으로 이것과 같은 얘기로 들립니다.

자금줄 다음 한 칸을 더 보고 싶습니다

색스의 지적이 맞는 자리를 짚었다고 보면서도, 자금줄만으로는 부족하다는 생각도 같이 듭니다. 돈이 완전히 분리된 평가기관을 만들어도 그다음에 물어야 할 게 두 개 더 남습니다.

하나는 부정적인 결과를 평가자가 스스로 낼 수 있느냐 입니다. 평가 결과를 먼저 랩에 보내고 랩이 공개 여부를 정하는 구조라면, 평가자가 바깥 사람이어도 판정을 쓰는 손은 다시 안쪽으로 돌아옵니다. 문장을 누가 썼느냐가 아니라 문장이 세상에 나가는 걸 누가 결정하느냐가 실제 권한입니다. 제 레포에서도 브리프 파일은 검사 에이전트가 썼지만, 그 파일을 발행 경로에 넣을지 말지는 제가 정했습니다. 그러니 그 판정은 어차피 제 판정이었습니다.

다른 하나는 그 결과가 실제로 무언가를 멈출 수 있느냐 입니다. 이게 제가 저 자신에게 아직 답을 못 한 부분이기도 합니다. 저는 게이트를 지우고 체크리스트로 바꿨고, 그래서 지금 이 레포에는 발행을 멈추는 문체 게이트가 없습니다. 검토는 남았는데 멈추는 힘은 없앴습니다. 제 경우엔 그게 맞는 선택이었다고 지금도 생각합니다. 최악이라 해봐야 어설픈 글이 하나 올라가는 거니까요.

그런데 프런티어 모델 평가에서 같은 선택을 하면 그건 다른 물건이 됩니다. 검토만 남고 멈추는 힘이 없는 구조는, 결과를 성실하게 적어도 출시 일정에는 아무 영향을 주지 않습니다. 보고서는 쌓이고 배포는 예정대로 나갑니다. 그러면 그 기구는 검문소가 아니라 기록 보관소입니다. 기록 보관소가 쓸모없다는 게 아니라, 검문소라고 부르면 안 된다는 얘기입니다.

그래서 표준기구 논의에서 제가 기다리는 건 권한 목록의 세 번째 줄입니다. 공동 표준 제정과 모델 테스트까지는 문서 작업이고, 실제로 갈리는 건 미국 정부와의 감독 조율이 어떤 형태냐입니다. 조율이 정보 공유에서 끝나는지, 아니면 어느 시점에 "이건 안 된다" 를 말할 수 있는 자리가 생기는지. 지금 보도만으로는 거기까지 안 보입니다.

공시가 늘어나면 모델이 안전해집니까

그다음 기사에서 좀 놀랐습니다.

액시오스 보도에 따르면 앤트로픽은 이 안전 논란에도 올해 안에 IPO 를 그대로 추진할 가능성이 높습니다. 여기까지는 그럴 수 있다고 봅니다. 놀란 건 그다음입니다. 지난 48시간이 오히려 IPO 논거를 강화 했다고 보는 시각이 있는데, 그 근거로 드는 논리가 이겁니다.

상장회사가 되면 투명성이 높아지므로 안전이 개선된다.

이 문장을 읽고 제가 지운 코드가 다시 떠올랐습니다. 구조가 같습니다.

공시는 서류입니다. 서류가 늘어나는 것과 모델이 안전해지는 것 사이에는 인과가 없습니다. 상장사가 되면 분기마다 문서를 내고, 그 문서에 리스크 요인을 적고, 감사를 받습니다. 그건 문서가 존재한다는 사실을 보증합니다. 판정: 합격 이라는 문자열이 파일에 있다는 사실을 제 grep 이 보증했던 것과 같은 종류의 보증입니다. 서류의 존재를 품질로 읽는 것입니다.

여기에 대한 반론이 뭘지는 압니다. 공시는 아무렇게나 쓰는 게 아니고, 회계법인이 감사하고, 거짓으로 쓰면 규제기관이 문제 삼는다는 거죠. 맞습니다. 그래서 저도 공시 제도 전체가 서류 놀음이라고 말할 생각은 없습니다.

다만 무엇이 감사받는지를 봐야 합니다. 감사받는 건 재무제표입니다. 모델의 안전이 아닙니다. 프런티어 모델이 특정 위험 역량을 갖췄는지를 판정하는 회계 기준 같은 건 지금 없습니다. 그러니까 안전에 관한 공시는, 적어도 현재로서는, 회사가 스스로 쓰고 회사가 스스로 형식을 정하는 문서 입니다. 감사 대상이 아니라 서술 대상입니다.

그리고 여기서 순서가 묘하게 꼬입니다. 지금 논의 중인 표준기구가 하려는 일 중 하나가 바로 그 테스트와 감사 기준을 만드는 것입니다. 기준이 아직 없어서 만들자고 하는 중인데, 다른 쪽에서는 상장하면 투명해져서 안전해진다는 논거가 이미 쓰이고 있습니다. 채점 기준표를 만드는 회의를 하면서, 그 옆에서는 시험을 보면 실력이 는다고 말하는 격입니다.

업계 발언을 읽을 때 저는 이런 자리를 봅니다. 오픈AI 가 올해 안에 AGI 를 만든다고 인터뷰에서 말했을 때도 제가 걸린 건 시점이 아니라 정의였습니다. 무엇을 달성했다고 말할 때 그 기준을 누가 쥐고 있느냐가 매번 같은 자리에서 걸립니다.

게이트의 진짜 효용이 뭔지 저는 압니다

색스가 한 말 중에 이런 것도 있습니다. 제품이 진짜 피해를 주는 사이버공격을 가능하게 하면 막대한 제품 책임에 노출된다는 얘기였고, 속도 조절 주장의 동기가 안전이 아니라 책임 회피일 수 있다는 지적으로 읽힙니다.

동기를 추측하는 건 원래 조심해야 하는 일이고, 저는 앤트로픽 안에서 무슨 얘기가 오갔는지 모릅니다. 그런데 이 지적을 뒤집어 보면 제가 아는 게 하나 나옵니다.

게이트가 있으면 "우리는 검사했다" 고 말할 수 있습니다. 실제로 검사하지 않아도 그렇게 말할 수 있습니다. 그게 자기 발급 게이트의 진짜 효용입니다.

제 경우가 그랬습니다. 그 grep 을 지울 때 제일 아까웠던 게 뭐였는지 나중에 생각해 봤는데, 막아주던 기능이 아니었습니다. 문서에 "불합격 글은 업로드가 차단된다" 고 적을 수 있다는 점이었습니다. 그 문장이 있으면 파이프라인 전체가 관리되고 있는 것처럼 보였습니다. 기능을 잃는 게 아까웠던 게 아니라 그 문장을 잃는 게 아까웠던 겁니다.

그걸 인정하는 데 며칠 걸렸습니다. 그 며칠 동안 제가 한 게 게이트를 살릴 방법을 찾는 거였는데, 지금 보면 살릴 방법을 찾은 게 아니라 문장을 지킬 방법을 찾고 있었습니다.

비슷한 일을 한 번 더 겪었습니다. 감시 훅을 잔뜩 걸어두고 넉 달이 지나서 열어봤더니 아무것도 안 보고 있었던 적이 있는데, 그때도 그 훅들이 실제로 한 일은 제가 안심하는 것이었습니다. 걸어놓는 것과 보고 있는 것은 다른 일인데, 걸어놓는 쪽만 기록에 남습니다.

그래서 저는 이번 표준기구 논의에서 권한 목록보다 결과를 누가 적느냐 를 봅니다. 공동 표준을 만들고 프런티어 모델을 테스트한다는 것까지는 전부 좋은 말인데, 그 테스트 결과를 적는 손이 어디 소속인지가 안 나오면 목록은 목록일 뿐입니다.

"카르텔" 비판은 다른 질문입니다

색스는 반독점 쪽도 함께 때렸습니다. 카르텔을 만들 수 있도록 반독점법을 정지해야 하는 척 그만하라는 취지였습니다. 코히어의 에이든 고메스도 이게 대형 기업들의 카르텔이 될 수 있다고 비판했습니다.

이 대목에서는 저는 동의하지 않는 부분을 분명히 해두고 싶습니다.

협력 자체가 문제라고 보지 않습니다. 표준을 같이 만드는 것과, 그 표준의 통과 여부를 스스로 적는 것은 다른 일입니다. 앞엣것은 반독점 문제이고 뒤엣것은 검증 문제입니다. 두 비판이 섞이면 둘 다 흐려집니다.

실제로 그렇게 흐려지는 게 보입니다. 표준기구를 카르텔이라고 부르면, 방어하는 쪽은 "안전을 위한 협력을 왜 막느냐" 로 답하면 됩니다. 그러면 원래 물어야 할 질문, 그러니까 판정을 누가 쓰느냐는 질문이 대화에서 빠집니다. 카르텔이라는 단어가 논쟁을 산업 구조 쪽으로 끌고 가버립니다.

흥미로운 건 색스 본인도 이 둘을 구분해서 말한 대목이 있다는 겁니다. 기업들이 안전성 확보를 위해 협력하는 데 반드시 정부의 반독점법 면제 조치가 필요한 건 아니라고도 했습니다. 이 말은 저도 맞다고 봅니다. 협력을 하려고 면제가 필요하다는 주장이 나오는 순간, 그 협력이 경쟁 제한적인 무언가를 포함하고 있다는 자백에 가까워집니다.

젠슨 황은 AI 종말론 자체를 헛소리로 일축했습니다. 다만 아모데이 제안에 대해서는 아직 공개 입장을 내지 않았습니다. 이건 세 번째 축이라서 지금 이야기와 잘 안 겹칩니다. 종말론이 과장인지 아닌지는 판정을 누가 쓰느냐와는 다른 질문이고, 둘을 같은 줄에 놓으면 또 흐려집니다.

여기서부터는 제가 모릅니다

그래서 정부 규제가 답이라는 쪽으로 넘어가고 싶은 유혹이 있는데, 안 가겠습니다. 그건 제가 실제로 알아본 게 아닙니다. 규제기관이 프런티어 모델을 평가할 역량이 있는지, 그 평가가 또 다른 형태의 서류 확인이 되지는 않는지, 저는 모릅니다. 트럼프 행정부가 속도 조절에 반대한다는 것까지는 보도로 알지만, 그 반대가 구조에 대한 건지 속도에 대한 건지도 기사만으로는 구분이 안 됐습니다.

제가 아는 건 블로그 발행 파이프라인 하나입니다. 프런티어 모델 안전 평가와는 규모도 위험도도 비교가 안 됩니다. 그 차이를 무시하고 제 경험을 그대로 얹을 생각은 없습니다.

다만 옮겨지는 게 하나 있다고 봅니다. 자기가 쓴 문자열을 자기 검문소로 쓰는 구조는 규모와 상관없이 같은 방식으로 실패합니다. 제 경우엔 나쁜 글이 통과하고 좋은 글이 막혔습니다. 큰 쪽에서는 뭐가 통과하고 뭐가 막힐지 저는 예측 못 합니다. 그런데 실패의 방향이 예상과 반대로 날 거라는 것 정도는 짐작합니다. 게이트는 원래 그렇게 틀립니다.

그리고 이 이야기는 결국 모델 얘기가 아닙니다. 한동안 LLM 을 탓하다가 문제가 대개 그 바깥 구조에 있었다는 걸 알게 된 적이 있는데, 이번 뉴스도 같은 층에 있습니다. 모델이 얼마나 위험한가를 묻는 논쟁처럼 보이지만, 실제로 갈리는 건 그 위험을 판정하는 절차를 누가 쥐느냐입니다. 모델 쪽 질문은 답이 안 나와도 시간이 해결해 주는 구석이 있는데, 절차 쪽 질문은 한번 굳으면 오래 갑니다.

지금은 그 정도로 보고 있습니다. 표준기구가 나오면 그 기구가 내는 첫 번째 보고서를 볼 생각인데, 볼 자리는 이미 정해져 있습니다. 판정 줄 옆에 근거가 붙어 있는지, 아니면 판정만 있는지.

확인한 자료

아래 링크는 전부 2026년 9월 15일에 열어 확인했습니다.

• Anthropic, OpenAI and Google discussed creating a new AI safety body — 워싱턴포스트, 2026-09-14. 실무그룹이 7월부터 회동해 왔다는 사실, 논의 중인 권한 세 가지, 업계 전체 합의가 아니라는 점이 여기서 온 내용입니다.
• Anthropic CEO Dario Amodei calls on AI industry to slow down — 워싱턴포스트, 2026-09-12. 에세이 「We Must Pace the Frontier」의 요지와 3단계 안이 여기 있습니다.
• Anthropic's IPO plans and the safety debate — 액시오스, 2026-09-14. 올해 안 IPO 추진 전망, "상장하면 투명성이 높아진다" 는 논거, 오픈AI 의 2027년 상장 전망이 여기서 온 것입니다.
• The AI slowdown debate — 리즌, 2026-09-14. 데이비드 색스의 반박과 카르텔 논쟁을 정리한 기사입니다.
• 앤트로픽·오픈AI·구글, 7월부터 'AI 안전 표준기구' 설립 물밑 논의 — AI타임스, 2026-09-14.
• 구글·MS도 "AI 속도 조절 동감"...'안전 연합전선' 5곳으로 확대 — AI타임스, 2026-09-14. 하사비스와 나델라의 발언 인용이 여기서 온 것입니다.

확인하지 못한 것도 같이 적습니다.

• 아모데이의 에세이 원문을 읽지 않았습니다. 「We Must Pace the Frontier」의 내용은 전부 위 보도를 통해서만 확인했습니다. 본문에서 제가 요약한 3단계 안과 재귀적 자기개선에 대한 서술도 보도에 적힌 것을 옮긴 것이고, 원문의 표현과 강조점이 다를 수 있습니다.
• 데이비드 색스의 X 게시물 원문도 보지 않았습니다. METR 관련 발언과 제품 책임 관련 발언은 인용 보도로만 확인했습니다. 인용된 문장의 앞뒤 맥락은 대조하지 못했습니다.
• 알트먼과 머스크의 동조는 보도가 그렇게 전한 것이고, 각자의 원 발언을 찾아 대조하지는 않았습니다.
• 제 레포에서 게이트를 걸고 지운 이야기와 거기서 나온 판단은 전부 제 몫이고, 어디에도 출처가 없습니다.