인공지능(AI) 기술이 비약적으로 발전함에 따라 이를 악용하려는 사이버 공격자들의 수법도 임계점을 넘어서고 있습니다. 구글 위협 정보 그룹(GTIG)은 지난주 발표한 <GTIG AI 위협 추적 보고서(AI Threat Tracker)>를 통해, 2025년 하반기부터 전 세계 위협 행위자들이 AI를 공격 사이클 전반에 통합해 전례 없는 속도와 정교함으로 무장하고 있다고 경고했습니다.
이번 보고서에서 가장 심각하게 다뤄진 대목은 구글의 최첨단 AI 모델인 '제미나이(Gemini)'의 지식재산권을 직접 겨냥한 ‘모델 추출 공격(Distillation Attacks)’의 확산입니다. 과거의 해커들이 기업의 데이터베이스를 직접 침투해 정보를 빼내려 했다면, 이제는 합법적인 응용프로그램 인터페이스(API) 액세스를 이용해 모델의 지능 자체를 복제합니다. 공격자는 수만 개의 정교한 질문을 던져 얻은 답변(Teacher Model의 결과물)을 바탕으로, 자신들의 ‘학생 모델’을 미세 조정(Fine-tuning)하는 방식을 사용합니다.
지난해 서울 강남구 코엑스 그랜드볼룸에서 열린 제1회 인공지능 해킹방어대회(ACDC·AI Cyber Defense Contest) 본선 경기에서 화이트해커 참가자들이 문제를 풀고 있다. (사진=뉴시스)
급증하는 ‘추론 과정 강제 노출’
특히 ‘추론 과정 강제 노출(Reasoning Trace Coercion)’ 기법이 주요 위협으로 떠올랐습니다. 구글 딥마인드와 GTIG는 제미나이가 답변을 도출하는 내부 사고 과정을 통째로 출력하도록 유도하는 공격을 10만건 이상 포착해 차단했다고 밝혔습니다. 이는 고도의 논리 체계를 저렴한 비용으로 탈취하려는 시도로, 모델 개발사의 핵심 경쟁력을 위협하는 심각한 IP 탈취 행위로 규정됐습니다.
보고서는 북한, 중국, 러시아, 이란 등 국가 지원을 받는 해킹 그룹들이 AI를 어떻게 실전 배치하고 있는지 구체적인 사례를 제시했습니다.
북한의 해커 그룹 UNC2970은 채용 담당자를 사칭해 방위 산업체에 대한 집중 공격을 자행했습니다. 이들은 제미나이를 활용해 오픈소스 인텔리전스(OSINT)를 종합하고 고가치 표적을 물색하는 등 공격 계획 수립 및 정찰 활동을 수행한 것으로 드러났습니다.
이란 해킹 조직(APT42)은 AI를 활용해 ‘관계 형성형 피싱’에 집중했습니다. 이들은 정찰 및 표적 맞춤형 소셜 엔지니어링 기법을 강화하기 위해 생성형 AI 모델을 활용했습니다. 이들은 AI를 악용해 특정 기관의 공식 이메일 주소를 검색하고, 정찰 조사한 내용을 바탕으로 잠재적 비즈니스 파트너를 가장해 신뢰할 만한 미끼를 제작합니다.
중국(APT31)은 단순히 메일을 쓰는 수준을 넘어 ‘AI 코드 감사' 단계로 진입했습니다. AI에 보안 전문가 페르소나를 부여한 뒤, 특정 미국 타깃 시스템의 웹 방화벽(WAF) 우회 기법과 SQL(데이터베이스에 질문하고 수정하기 위해 쓰는 언어) 인젝션 취약점을 자동으로 분석하도록 시도했습니다.
구글은 스스로 판단하고 행동하는 ‘에이전틱 AI(Agentic AI)’에 대한 해커들의 높은 관심을 경고했습니다. 인간의 지속적인 개입 없이도 다단계 공격을 수행하는 이 기술은 사이버 공격의 규모를 기하급수적으로 키울 수 있습니다.
구글이 영어권 및 러시아어권의 다크웹 등 사이버 범죄 커뮤니티를 관찰한 결과, AI 기반 도구 및 서비스에 대한 수요가 지속적으로 나타났습니다. 다만 위협 행위자들은 독자적인 맞춤형 모델을 직접 개발하기 어려워 기존에 출시된 완성도 높은 AI 모델에 의존하고 있는 것으로 나타났습니다.
이미 다크웹 등 지하 시장에서는 ‘잔소록스(Xanthorox)’나 ‘오토GPT(AutoGPT)’와 같은 서비스들이 등장하고 있습니다. 지하 포럼에서 멀웨어 코드 자동 생성 및 피싱 공격 개발을 위해 설계된 맞춤형 AI로 광고되고 있습니다. 이들은 겉으로는 독립적인 모델로 포장하지만, 실제로는 상용 AI의 보안 가드레일을 무너뜨린 API나 오픈소스 모델을 활용해 악성코드 제작 및 배포를 자동화하고 있습니다. 특히 제미나이 API를 호출해 실시간으로 공격 코드를 생성하고 실행하는 ‘HONESTCUE’와 같은 신종 악성코드 제품군의 등장은 AI 통합 공격의 서막이라는 분석입니다.
모델 추출 공격의 예시. (이미지=구글 GTIG)
“공격보다 빠른 방어” 구글 전략
구글은 이러한 위협에 맞서 '대담하고 책임감 있는 AI' 원칙을 고수하고 있다고 밝혔습니다. 위협 행위자와 연결된 모든 계정과 프로젝트를 즉각 폐쇄하는 것은 물론, 수집된 공격 데이터를 다시 AI 모델 학습에 활용해 분류기(Classifier)의 탐지 성능을 높이는 선순환 구조를 구축했습니다.
또한 구글은 <제미나이 보안 보호 조치 고도화(Advancing Gemini’s Security Safeguards)> 백서를 통해 실시간 대응 시스템을 공개하며, 산업 전반의 방어자들이 AI 위협에 선제적으로 대응할 수 있도록 모범적인 실행 방안을 공유하고 있습니다.
이번 보고서는 AI가 더 이상 미래의 위협이 아닌, 현재진행형인 ‘실존적 위협’임을 보여줍니다. 공격자들은 AI를 통해 언어적 장벽과 기술적 한계를 허물고 있습니다. 기업과 국가 기관은 이제 AI를 단순한 업무 도구가 아닌, 보안의 핵심 전선으로 인식하고 방어 체계를 전면 재구축해야 할 시점입니다.
임삼진 객원기자 isj2020@daum.net
이 기사는 뉴스토마토 보도준칙 및 윤리강령에 따라 오승훈 산업1부장이 최종 확인·수정했습니다.
ⓒ 맛있는 뉴스토마토, 무단 전재 - 재배포 금지