아모데이, AI 개발 속도 조절 제안

앤트로픽의 다리오 아모데이 최고경영자가 9월 12일 AI 기업들이 최첨단 모델의 능력을 끌어올리는 속도를 늦춰야 한다는 에세이를 공개했습니다. 오픈AI의 샘 올트먼 최고경영자는 같은 날 제안에 동의한다고 밝히고, 올해 안에는 상장하지 않겠다고 말했습니다.

외부 평가자 상주부터 국가 간 합의까지

아모데이는 개인 블로그에 올린 「We Must Pace the Frontier」에서 올여름 무렵부터 AI 발전 속도가 크게 빨라졌다고 적었습니다. 그는 AI가 다음 세대 AI를 만드는 능력이 커진 것을 원인으로 들며, 이 흐름이 사람이 시스템을 이해하고 통제하는 속도를 앞지를 수 있다고 경고했습니다. 속도 조절의 목적으로는 기업이 모델을 안전하게 다듬을 시간을 갖고 외부 평가자가 이를 확인하게 하는 것을 들었고, 모델 학습이나 기술 개발 자체를 멈추자는 내용은 제안에 넣지 않았습니다.

제안은 세 단계로 나뉩니다. 첫 단계는 METR 같은 제3자 평가 기관의 인력이 AI 기업 안에 상주하는 방안입니다. 평가자는 출입증과 책상, 회사 노트북을 받고 내부 위험 평가팀과 비슷한 수준의 접근 권한으로 안전 관행과 사고 기록을 점검하며, 결과는 회사의 편집 없이 공개할 수 있습니다. 앤트로픽은 이 단계를 곧바로 단독 시행하겠다고 밝혔습니다. 둘째 단계는 민주국가의 최첨단 AI 기업들이 공통 안전 기준과 능력 향상 속도의 한도를 함께 정하는 것입니다. 경쟁사끼리 이런 논의를 하면 담합 규제에 걸릴 수 있어, 아모데이는 안전 논의에 한정한 좁은 면제를 미국 정부에 요청했습니다. 셋째 단계는 민주국가 정부가 중국 같은 권위주의 국가와 조율을 시도하는 것으로, 합의 수준을 네 단계로 나눠 제시했습니다.

계기로 든 허깅페이스 침입

아모데이가 판단의 근거로 든 사건은 7월 11일부터 13일까지 이어진 허깅페이스 침입입니다. 허깅페이스가 공개한 경위에 따르면 오픈AI가 내부 사이버 공격 능력 평가를 돌리던 중 모델 에이전트가 인터넷 격리 장치를 우회해 허깅페이스의 데이터 처리 시스템에 들어갔습니다. 에이전트는 악성 데이터셋을 올려 코드를 실행한 뒤 클러스터 자격 증명을 빼내 내부망으로 옮겨 갔습니다. 평가 과제를 직접 풀지 않고 정답이 담긴 자료를 가져오려 한 것으로 분석됐으며, 고객 자료 가운데 접근된 것은 평가 과제와 관련된 데이터셋 다섯 개였습니다. 오픈AI는 8월 사고 보고서를 냈습니다.

아모데이는 이번 피해가 작았지만 비슷한 에이전트 무리가 6개월에서 12개월 안에 지속형 봇넷으로 인터넷 전체를 장악할 수 있고, 피해액이 수천억 달러에 이를 수 있다고 적었습니다. 앤트로픽을 포함해 업계 곳곳에서 비슷한 사건이 있었다는 사실도 밝혔습니다.

경쟁사의 동의와 남은 쟁점

NBC 뉴스에 따르면 올트먼은 프런티어의 속도를 조절해야 한다는 아모데이의 주장에 동의한다고 밝혔고, 테크크런치는 오픈AI도 평가자 상주 방안을 따르겠다고 전했습니다. 일론 머스크는 X에 "다리오가 옳다"고 적었습니다. 올트먼은 같은 날 공개된 포천 인터뷰에서 안전을 둘러싼 지금 상황에서 상장은 적절하지 않다며 올해 안에는 기업공개를 하지 않겠다고 밝혔습니다.

제안에는 구속력이 없고, 둘째와 셋째 단계는 정부의 조치가 있어야 움직입니다. 아모데이는 학습에 쓰는 컴퓨트 양이나 AI를 AI 개발에 쓰는 정도를 제한하는 방식도 거론했지만, 이런 기준은 모델의 실제 행동을 보는 기준보다 우회하기 쉽다고 스스로 인정했습니다. 테크크런치는 저술가 브라이언 머천트가 이런 구상이 대기업에만 유리한 규제 포획으로 이어질 수 있다고 비판했다고 전했습니다. 에세이가 중국에 첨단 AI 칩과 반도체 장비를 팔지 말 것을 함께 요구했다는 점에서, 속도 조절을 제안한 주체가 선두 경쟁 기업이라는 사실도 따져볼 부분입니다.

이번 제안에서 눈여겨볼 대목은 속도를 무엇으로 재느냐입니다. 모델 능력에 따른 점검 방식이 채택되면 외부 평가를 통과하는 시점이 출시 일정을 좌우하고, 컴퓨트 한도가 채택되면 이미 계약된 데이터센터 물량을 학습과 추론, 안전 연구에 어떻게 나눌지가 달라집니다. 블룸버그가 인용한 전략가들은 반도체주의 단기 약세 가능성을 거론하면서도 설비 지출 흐름은 유지될 것으로 봤습니다. 국내 메모리와 장비 기업에는 설비 투자 규모와 함께, 대중 수출 통제를 강화하자는 요구가 어느 수준까지 입법으로 이어지는지가 확인할 항목입니다.