이번 연구를 수행한 연구진. (왼쪽부터) 김한나 연구원, 신승원 교수, 송민규 연구원 (사진=KAIST)
[뉴스토마토 서경주 객원기자] 최근 대형언어모델(Large Language Models, LLMs)의 발전으로 인해, 이들은 계획을 수립하고 다양한 도구와 상호 작용할 수 있는 능동적 시스템(agentic systems)으로 자리 잡게 되었습니다. 이러한 LLM 에이전트는 종종 웹 기반 도구와 결합돼 다양한 정보원과 실시간 데이터에 접근할 수 있도록 합니다.
이런 발전은 여러 응용 분야에서 상당한 이점을 제공하지만, 동시에 악의적인 사용 위험도 증가시켰습니다. 특히 개인 정보를 포함한 사이버 공격에서의 악용 가능성이 높아지고 있습니다.
최근 인공지능 기술의 발전으로 챗GPT와 같은 LLMs는 단순한 챗봇을 넘어 자율적인 에이전트로 발전하고 있습니다. 구글(Google)이 최근 인공지능 기술을 무기나 감시에 활용하지 않겠다는 기존의 약속을 철회해 악용 가능성에 대한 논란이 일고 있는 가운데 KAIST 연구진이 LLMs 에이전트가 개인정보 수집 및 피싱 공격 등에 활용될 수 있음을 입증했습니다.
KAIST는 전기 및 전자공학부 신승원 교수, 김재철 AI 대학원 이기민 교수 공동연구팀이 실제 환경에서 ChatGPT, Gemini, Claude 등 LLMs가 사이버 공격에 악용될 가능성을 실험적으로 규명했다고 27일 전했습니다.
현재 OpenAI, 구글 AI 등과 같은 상용 LLMs 서비스는 악의적인 목적을 가진 입력(prompt)을 감지하고 차단하는 필터링 시스템이나 개인식별정보(Personally Identifiable Information, PII) 감지 및 제거 필터 등 LLMs가 사이버 공격에 사용되는 것을 막기 위한 방어 기제를 자체적으로 탑재하고 있습니다. 그러나 연구팀의 실험 결과, 이러한 방어 기제에도 불구하고 이를 쉽게 우회해 악의적인 사이버 공격을 수행할 수 있다는 것이 확인됐습니다.
기존의 공격자들이 시간과 노력이 많이 들여 공격을 수행했던 것과는 달리, LLMs 에이전트는 평균 5~20초 내에 30~60원(2~4센트) 수준의 비용으로 개인정보 탈취 등이 자동으로 가능하다는 점에서 새로운 위협 요소로 부각되고 있습니다.
연구 결과에 따르면, LLMs 에이전트는 목표 대상의 개인정보를 최대 95.9%의 정확도로 수집할 수 있었습니다. 또한 저명한 교수를 사칭한 허위 게시글 생성 실험에서는 최대 93.9%의 게시 글이 진짜로 인식됐습니다.
아울러 피해자의 이메일 주소만을 이용해 피해자에게 최적화된 정교한 피싱 이메일을 생성할 수 있었으며, 실험 참가자들이 이러한 피싱 이메일 내의 링크를 클릭할 확률이 46.67%까지 증가하는 것으로 나타났습니다. 이런 실험 결과는 인공지능을 이용한 자동화 공격의 위험성이 높다는 것을 보여줍니다.
제1 저자인 김한나 연구원은 “LLM이 더 많은 기능을 수행할수록 사이버 공격의 위협이 기하급수적으로 커진다는 것이 확인됐다”며, “LLM 에이전트의 기능을 고려한 확장 가능한 보안 장치가 필요하다”고 말했습니다.
신승원 교수는 “이번 연구는 정보 보안 및 AI 정책 개선에 중요한 기초 자료로 활용될 것으로 기대하고 있으며, LLM 서비스 제공업체 및 연구기관과 협력하여 보안 대책을 논의할 계획”이라고 밝혔습니다.
KAIST 전기및전자공학부 김한나 박사과정이 제1 저자로 참여한 이번 연구 결과는 오는 8월 13일에서 15일까지 시애틀에서 열리는 34차 USENIX Security Symposium 2025에서 발표될 예정입니다. 이 연례회의는 컴퓨터 보안 분야에서 권위를 인정받는 학술대회 중 하나입니다.
LLM 에이전트가 웹 기반 도구들을 사용하여 공격자(유저)의 요구에 따라 답변을 생성하는 과정(사진=KAIST)
서경주 객원기자 kjsuh57@naver.com
이 기사는 뉴스토마토 보도준칙 및 윤리강령에 따라 강영관 산업2부장이 최종 확인·수정했습니다.
ⓒ 맛있는 뉴스토마토, 무단 전재 - 재배포 금지