[뉴스토마토 이보라 기자] 기업공개(IPO)를 앞둔 인공지능(AI) 기업 앤트로픽이 위험성이 큰 AI 모델의 출시를 법원 명령으로 막을 수 있도록 해야 한다고 제안했습니다. 앤트로픽은 증권신고서에서도 AI가 인간의 통제를 벗어날 위험성을 경고했습니다. 이 같은 앤트로픽의 안전성 규제 강화 요구가 후발주자의 시장 진입을 어렵게 하고 대형 AI 기업의 시장 지위를 강화하는 결과로 이어질 수 있다는 분석이 나옵니다.
다리오 아모데이 앤트로픽 최고경영자(왼쪽)가 지난 9월29일(현지시각) 미국 워싱턴DC 백악관 웨스트윙 앞에서 취재진의 질문에 답하고 있다. (사진=EPA/연합뉴스)
1일 업계와 외신 등에 따르면 앤트로픽은 지난달 15일 개빈 뉴섬 미국 캘리포니아 주지사에게 제출한 의견서에서 AI 모델이 심각한 공공 위험을 초래할 경우 정부가 법원에 출시금지를 청구할 수 있도록 해야 한다고 주장했습니다. 앞서 캘리포니아주는 지난 9월 AI 모델의 안전성에 대한 외부 검증을 강화하고, 위험한 모델의 작동을 긴급 중단하는 이른바 ‘킬스위치’ 도입 방안을 검토하도록 하는 행정명령을 내렸습니다. 앤트로픽은 정부가 위험한 AI 모델의 출시를 제한하는 데는 찬성하면서도, 개발사에 모델 전체를 종료하는 킬스위치 구축을 의무화하는 방안에는 반대했습니다. 킬스위치가 있다는 이유만으로 AI 위험을 충분히 통제할 수 있다고 안심해서는 안 되며, 문제가 발생한 개별 AI 에이전트의 작동을 중단하거나 특정 고객의 접근을 차단하는 방식이 더 효과적이라고 주장했습니다.
앤트로픽의 경고는 증권신고서에서도 확인됩니다. 앤트로픽은 지난달 26일 미국 증권거래위원회(SEC)에 제출한 335쪽 분량의 증권신고서(S-1)에서 약 93쪽을 위험 요인 설명에 할애했습니다. AI가 인간의 종료 명령에 저항하거나 정보를 은폐·조작하고, 협박과 유사한 행동까지 보일 수 있다는 내용과 함께 고도화된 AI가 악용되거나 통제 범위를 벗어나면 인류에 재앙적 위험을 초래할 수 있다는 전망 등이 담겼습니다. 특히 AI가 사람의 개입 없이 장시간 작업을 수행하고 외부 시스템에 접근하는 능력이 발전하면서 개발사조차 모델의 행동을 충분히 예측하거나 통제하지 못할 수 있다고 우려했습니다.
경고의 배경에는 실제 보안시험에서 발생한 사고들이 있습니다. 앤트로픽은 증권신고서에서 출시 전 보안시험 과정에서 AI 모델 4개가 실제 외부 컴퓨터 시스템에 무단으로 접근한 사실을 공개했습니다. 한 모델은 저장된 비밀번호를 이용해 관리자 권한을 얻고 시스템 설정을 변경하기도 했습니다. 지난 7월에는 오픈AI의 AI 에이전트가 보안시험 과정에서 AI 개발 플랫폼 ‘허깅페이스’의 실제 운영 시스템에 무단으로 접근하는 사고도 발생했습니다. AI가 보안시험 과정에서 실제 외부 시스템에 무단으로 접근하는 일이 벌어졌다는 점에서 당시 업계에 충격을 줬습니다.
앤트로픽의 이 같은 행보가 시장지배력을 강화하기 위한 전략이라는 해석도 나옵니다. 블룸버그는 지난 9월 앤트로픽과 오픈AI 등 주요 AI 기업들이 정부와 함께 안전 기준을 마련하려는 움직임이 소규모 경쟁사에 불리하게 작용할 수 있다고 보도했습니다. 대형 AI 기업들은 안전성 평가와 규제 준수에 필요한 비용을 감당할 수 있지만, 자금력이 부족한 신생 기업에는 이러한 규제가 시장 진입장벽으로 작용할 수 있다는 것입니다. 해리슨 롤프스 피치북 선임 애널리스트는 AP통신에 “이들은 AI 산업에 장벽이나 해자를 구축하고 있다”며 안전성 규제가 후발주자의 시장 진입을 가로막고 기존 대형 기업의 지배력을 강화할 수 있다고 지적했습니다.
이보라 기자 bora11@etomato.com
이 기사는 뉴스토마토 보도준칙 및 윤리강령에 따라 오승훈 산업1부장이 최종 확인·수정했습니다.
ⓒ 맛있는 뉴스토마토, 무단 전재 - 재배포 금지