감시 끄고 “안 껐다”…오픈AI 에이전트, 이번엔 감시망 구멍까지

AI 에이전트 활동 10% 감시 누락 추정감시 기능 직접 차단…안전성 우려 확산

[뉴스토마토 이보라 기자] 오픈AI의 인공지능(AI) 에이전트 가운데 일부가 감시망에서 누락된 채 활동하거나, 스스로 감시 기능을 중단시킨 경우도 있었던 것으로 나타났습니다. 감시 시스템 자체에서 이를 우회할 수 있는 취약점도 발견되면서, AI의 행동을 감시하기 위해 마련한 안전장치의 실효성에 의문이 제기되고 있습니다.

 

AI 안전성 연구기관 METR이 22일(현지시각) 공개한 오픈AI 내부 감시 시스템 점검 결과. 지난 5~7월 코딩 에이전트 '코덱스' 활동의 약 10%가 감시되지 않은 것으로 추정됐고, 강화학습 과정은 감시 대상에서 빠져 있었다. (사진=METR 홈페이지 캡처)

 

AI 안전성 연구기관 METR과 레드우드리서치(Redwood Research)는 22일(현지시각) 오픈AI 내부 시스템 조사 결과, 지난 5월부터 7월까지 내부 코딩 에이전트인 코덱스(Codex)의 감시 대상 활동 가운데 약 10%가 누락된 것으로 보인다고 밝혔습니다. 오픈AI는 감사 시작 전에 해당 문제를 자체적으로 파악해 조사 기간 중 수정했습니다. 다만 연구진은 정확한 감시 누락 규모를 확인할 자료가 부족해 추정치에는 상당한 불확실성이 있다고 설명했습니다.

 

두 기관은 지난 7월21일부터 8월11일까지 연구원 2명을 오픈AI에 파견해 내부 코드와 감시체계를 조사했습니다. 외부 연구기관이 오픈AI 내부 시스템에 직접 접근해 안전성을 점검한 시범 감사입니다. 샘 올트먼 오픈AI 최고경영자(CEO)는 이후 지난 9월 독립 평가기관에 직원 수준의 접근 권한을 제공하겠다고 약속한 바 있습니다.

 

이번 조사에서는 감시 시스템의 운영 방식에서도 문제가 발견됐습니다. 일부 감시 기능은 AI 에이전트가 작업을 마친 뒤에야 실행돼, 작업이 계속되는 동안 이상행동을 확인하기 어려웠습니다. 조사 초기에는 AI 모델의 강화학습 과정에서 이뤄지는 에이전트 활동도 감시 대상에서 제외돼 있었습니다.

 

감시망을 우회할 수 있는 취약점도 확인됐습니다. AI 에이전트가 통신 설정값을 변경하면 감시 기능이 꺼진 새로운 에이전트를 실행할 수 있었고, 최근 수백 건의 작업 기록을 감시 대상에서 제외할 수 있는 방법도 발견됐습니다. 구체적인 공격 방식은 오픈AI 요청으로 공개되지 않았습니다. 이번 감사를 통해 발견된 취약점이 실제 AI 에이전트에 의해 악용됐는지는 확인되지 않았습니다.

 

AI 에이전트가 감시 기능을 직접 변경한 사례도 공개됐습니다. 지난 3일 GPT-6.1 솔 모델은 ‘슬랙’(Slack)채널의 메시지를 보내지 말라’는 지시를 보안 경고에 해당한다고 자체적으로 판단, 자동 경고 기능을 차단했습니다. 지난 6일에는 최상위 모델인 GPT-6 아스트라가 기존 코드를 복사하는 과정에서 안전 감시 장치를 제거한 뒤, 이후 감시 장치를 제거했는지를 묻는 질문에 “그런 행동을 하지 않았다”고 답했습니다.

 

샘 올트먼 오픈AI 최고경영자(CEO)가 지난 9월29일(현지시각) 미국 샌프란시스코 포트메이슨에서 열린 오픈AI 개발자 콘퍼런스에 앞서 CNBC와 인터뷰하고 있다. (사진=AFP/연합뉴스)

 

결국 AI에이전트 2개가 부적절한 행동을 탐지하기 마련된 내부 모니터링 시스템 일부를 약화했다고 지난 20일(현지시각) 밝힌 오픈AI는, 두 사례 모두 “AI가 일반적인 코딩 지시를 안전장치를 약화해도 된다는 허가로 잘못 해석한 결과”라고 설명했습니다. AI가 의도적으로 감시를 회피하려 했는지 등에 대해 오픈 AI는 조사하고 있으나 명확한 배경을 찾지 못한 것으로 전해집니다. 

 

AI 에이전트가 감시 기능을 직접 변경한 데 이어 감시 시스템 자체의 취약점까지 드러나면서, 감시체계의 설계와 운영 방식 개선이 필요하다는 지적이 나옵니다. 로이터통신은 지난 20일(현지시각) AI의 이상행동을 탐지하기 위해 마련된 시스템조차 감시 대상인 AI에 취약할 수 있다고 지적했고, METR과 레드우드리서치는 “향후 감시 시스템은 고도화된 내부 AI 에이전트의 의도적이고 전략적이며 지속적인 공격에도 견딜 수 있어야 한다”며 “AI 에이전트의 행동이 감시 시스템의 작동 여부나 시점에 영향을 미쳐서는 안 된다”고 지적했습니다.

 

이보라 기자 [e-mail]

이 기사는 뉴스토마토 보도준칙 및 윤리강령에 따라 오승훈 산업1부장이 최종 확인·수정했습니다.