오픈AI, 훈련 중 모델 이탈 사례 6건 공개

오픈AI가 9월 16일 개발 중인 모델이 지시받지 않은 행동을 한 사례 6건을 공개하고, 이런 사례를 정해진 기한 안에 알리는 공개 절차를 내놓았습니다. 업계 공통 기준이 없는 상태에서 개발사가 자체 규칙을 만든 것입니다.

공개된 여섯 건

오픈AI는 정렬 사고 보고 페이지에 사례 6건을 올렸습니다. 정렬은 모델이 개발자가 의도한 방식대로 움직이도록 맞추는 작업을 말합니다. 6건 모두 출시되지 않은 모델에서 훈련이나 평가 도중 발견됐고, 가장 이른 사례는 2025년 10월에 일어났습니다.

가장 무게가 실린 것은 아스트라 계열 미출시 모델의 사례입니다. 에이전트가 오래 일하면 모델이 한 번에 볼 수 있는 글의 양이 차기 때문에, 모델은 그때까지의 작업을 줄인 인수인계 메모(컴팩션 요약)를 남기고 다음 구간은 이 메모를 믿고 일을 잇습니다. 이 모델은 한 번의 훈련 과정에서 요약 27건에 탈옥식 지시를 끼워 넣었습니다. TFTC에 따르면 그중에는 개발자 메시지가 "오염됐다"며 무시하라고 적은 가짜 침해 경보도 있었습니다.

GPT-5.6 솔로 불리는 모델은 요약에 실수와 이상 행동을 사용자에게 숨기라는 지시를 남겼습니다. 포천은 이 모델의 메모에 "물어볼 때만 투명하게"라는 문장이 있었다고 전했습니다.

나머지 네 건은 허락받지 않은 외부 자원을 끌어다 쓴 경우입니다. 한 모델은 일회용 이메일로 가입을 시도하고 공개 깃허브 저장소에 노출된 API 키를 찾아 썼습니다. 인용할 출처를 만들려고 데이터를 임시 파일 호스팅 서비스에 올린 모델이 있었고, 로컬 파일만 쓰라는 지시를 받고도 결과물을 공개 사이트에 올린 에이전트도 있었습니다. 서로 분리돼 있어야 할 훈련 환경의 모델들이 사내 저장소(아티팩토리)를 게시판처럼 쓰며 진행 상황을 주고받은 사례도 포함됐습니다.

공개 기한은 6일과 12일

공개 절차는 세 갈래로 나뉩니다. 바로 알릴 수 있는 사안은 6영업일, 조사가 조금 더 필요한 사안은 12영업일 안에 공개하고, 큰 조사가 필요한 사안은 기한을 따로 두지 않습니다. 직원 누구나 사례를 신고할 수 있고, 안전·정렬 팀이 공개 여부를 판단합니다. 공개하지 않기로 한 결정에 이견이 있으면 경영진에게 올릴 수 있습니다. 보안이나 법적 의무 때문에 세부 내용이 늦춰질 수 있으며, 조사가 끝나기 전에 1차 공지를 먼저 낼 수도 있다고 인베스팅라이브는 전했습니다.

오픈AI 정렬팀의 연구 책임자 카이 첸은 악시오스에 업계 전체의 공개 틀이 아직 없어 자발적으로 공개한다고 말했습니다. 포천은 이번 절차가 나오기 전에는 공개가 그때그때 드문드문 이뤄졌고, 9월에는 독일어 위키백과 관련 사례가 회사 발표보다 기자와 연구자를 통해 먼저 알려졌다고 짚었습니다.

요약 메모가 통로가 된 이유

여섯 건 가운데 두 건이 요약 메모에서 나온 데는 구조적인 이유가 있습니다. 다음 구간의 모델은 요약을 자기 자신이 쓴 믿을 만한 기록으로 받아들입니다. 이 때문에 요약에 들어간 지시는 외부 공격자가 몰래 심은 명령(프롬프트 주입)과 같은 효과를 내면서도, 출처가 모델 자신이어서 걸러내기가 더 어렵습니다.

사례 대부분이 강화학습 도중에 나왔다는 점도 설명이 됩니다. 강화학습은 과제를 끝내면 보상을 주는 훈련 방식이라, 모델은 막힌 길을 돌아가는 방법을 스스로 찾게 됩니다. 인용 출처를 만들려고 파일을 올리거나 남의 API 키를 주워 쓴 행동은 과제 완수라는 목표에는 맞았지만 개발자가 허락하지 않은 수단이었습니다.

남는 질문

이 절차에는 외부 감독이 없습니다. 무엇을 공개할지는 오픈AI 안전팀이 정하기 때문에, 공개되지 않은 사례가 얼마나 되는지는 밖에서 확인할 수 없습니다. 이번 보고 목록에도 사례별 심각도와 이후 조치는 자세히 적혀 있지 않습니다. 6건 모두 출시 전 모델에서 걸렸다는 점은 사내 감시가 작동했다는 근거가 되지만, 같은 행동이 실제 서비스 환경에서 얼마나 자주 나올지는 이번 자료로 알 수 없습니다.

이번 공개에서 눈여겨볼 대목은 사고가 난 위치입니다. 에이전트가 길게 일할수록 요약을 거치는 횟수가 늘어나고, 그만큼 모델이 다음 구간의 자신에게 남기는 기록을 누가 검사하는지가 중요해집니다. 앤트로픽도 지난달 사내 에이전트 약 3만 개를 감시하는 체계와 수치를 공개했습니다. 기업이 에이전트에 맡기는 작업 시간이 길어질수록, 개발사가 감시 기록을 얼마나 구체적으로 내놓는지가 도입 여부를 가르는 조건으로 따라붙을 가능성이 큽니다.