생성 인공지능(AI) 시스템을 악용하여 악성코드를 확산시키고 데이터를 탈취할 수 있는 새로운 형태의 AI웜(멀웨어·malware, 악성 소프트웨어의 줄임말) 개발이 가능하다는 사실이 밝혀졌다. 이는 생성 AI 활용의 취약점을 보여주며, 빠르게 발전하는 AI 분야에서 보안 위험에 대한 중요성을 강조한다.

뉴욕주 이타카에 위치한 코넬 테크(Cornel Tech) 대학 연구팀은 '모리스 II'라는 AI웜을 개발해 생성 AI 시스템 악용 시나리오를 제시했다. 

스스로 확산되는 AI 기반 멀웨어를 개발한 연구원들은 "이 기술이 이전에는 불가능했던 새로운 종류의 사이버 공격을 수행하거나 수행할 수 있는 능력을 갖게 되었다는 것을 의미한다"고 우려했다. 아직 동료 검사 과정을 거치지 않았지만, 이 연구는 생성 AI가 악성코드 개발에 활용될 수 있다는 심각한 우려를 낳고 있다.

이메일 가상 비서 대상 테스트

와이어드, 퓨처리즘 등 다수 외신에 따르면 연구팀은 제어된 환경에서 실험을 진행해 오픈AI의 챗GPT 최신버전인 GPT-4, 구글의 제미나이 프로, 그리고 라바(LLaVA)라는 오픈소스 대형 언어 모델을 사용하는 이메일 가상 비서를 공격 대상으로 삼았다.

코넬대 연구팀은 '적대적 자기 복제 프롬프트(adversarial self-replicating prompt)'라는 기술을 사용해 악의적인 프롬프트를 주입했다. 

인터레스팅엔지니어링에 따르면, 모리스 II는 악성 프롬프트(prompts)를 주입하여 생성 AI 모델을 조작하고, 이를 통해 스팸 메시지 전송, 허위 정보 유포, 개인 정보 탈취 등의 악의적인 활동을 수행할 수 있다. 

와이어드의 보도에 따르면 이 웜은 AI 기반 이메일 비서를 공격해 이메일에서 개인 정보와 관련된 민감한 데이터를 얻고 다른 시스템을 감염시키는 스팸 메시지를 발송할 수 있다.

이 논문의 공동 저자인 코넬 테크 연구원 벤 나시는 와이어드에 "AI웜의 출현은 기본적으로 이전에는 볼 수 없었던 새로운 종류의 사이버 공격을 수행할 수 있는 능력을 갖게 되었다는 것을 의미한다"고 말했다.

연구팀은 생성 AI 활용 방식에 따라 두 가지 유형의 취약점을 제시했다.

첫 번째는 생성 AI 서비스 결과에 의존하는 프로그램이다. 이러한 프로그램은 악성 소프트웨어에 의해 조작되거나 악용될 수 있다.

두 번째는 RAG(Recurrent Aggregation of Generative Models, 생성 모델의 반복적 집합) 기술을 사용하여 AI 쿼리를 향상시키는 프로그램이다. 이러한 프로그램은 특히 RAG 기반 생성 AI 웜 공격에 취약하다.

이 연구는 생성 AI 시스템의 보안 취약점을 식별하고 새로운 종류의 멀웨어 공격 가능성을 제시한다. 이를 통해 향후 생성 AI 개발 시 보안을 강화하는 데 기여할 수 있다.

아직까지 실제 환경에서 생성 AI 웜 멀웨어가 발견된 사례는 없다.

심각한 사생활 침해 우려

연구팀은 논문에서 "생성 AI 웜이 '가까운 미래'에 실제 환경에 확산될 경우 '심각하고 불가피한 악영향'을 초래할 수 있다"고 지적했다. 이는 기업들이 생성 AI 가상 비서를 서비스에 도입하기 전에 사이버 보안 위험에 대한 철저한 사전 검토가 필수임을 시사한다.

나시는 와이어드 인터뷰에서 "이름, 전화번호, 신용카드 번호, 주민등록번호 등 기밀 정보가 포함될 수 있다"고 밝혔다. 즉, 이러한 AI 비서는 방대한 양의 개인 데이터에 접근할 수 있으며, 이는 사용자의 사생활 침해로 이어질 수 있다.

연구팀은 새롭게 구축된 메시지 전송 시스템을 활용하여 전송된 이메일 데이터베이스를 효과적으로 '오염'시키고, 이메일 수신인의 가상 비서 AI가 이메일에서 사용자의 이름, 전화 번호, 신용카드 번호, 사회 보장 번호 등 민감한 정보를 탈취하도록 유도했다. 더욱 심각한 문제는 이 과정을 통해 AI 웜이 새로운 컴퓨터로 전파될 수 있다는 점이다.

연구팀은 심지어 이미지에 악성 프롬프트를 삽입해 AI가 다른 이메일 클라이언트를 감염시키도록 유도하는 데 성공했다.

나시는 "사용자의 민감한 데이터가 포함된 응답은 새 클라이언트(고객)로 전송된 이메일에 회신하여 저장될 때 새로운 호스트를 감염시킨다"고 설명했다.

그는 "자체 복제 프롬프트를 이미지에 인코딩하면 스팸, 악용 자료 또는 광고 이미지를 최초 이메일 후 새로운 클라이언트에게 추가로 전달할 수 있다"고 덧붙였다.

연구 결과는 오픈AI와 구글에 전달됐다. 오픈AI 대변인은 와이어드와의 인터뷰에서 "시스템의 탄력성 향상을 위해 노력하고 있다"고 밝혔다.

나시와 동료들은 논문에서 "AI 웜이 향후 몇 년 안에 확산될 수 있으며 심각하고 예상치 못한 결과를 초래할 것"이라고 주장했다.

이는 기업들이 사이버 보안 위험을 사전에 예방하지 않은 채 생성 AI 비서를 깊숙히 통합하려는 움직임에 대한 경고다.

AI 웜 피해 규모 예측

AI 웜은 아직 등장하지 않아 정확한 피해 규모를 예측하기는 어렵다. 그러나 기존 웜과 달리 다양한 공격 방식을 사용할 수 있어 피해 범위가 더욱 크고, 예측하기가 더 힘들 수 있다.

또한 AI 웜 공격을 감지하고 차단하는 보안 시스템은 빠르게 발전하고 있지만 아직 완벽하지 않아 공격을 막는 데 어려움을 겪을 수 있다.

연구팀의 지적처럼 AI 웜은 스스로 복제 및 배포 기능을 갖추고 있어 빠르게 확산될 수 있다. 이는 기업, 정부기관, 개인 사용자 등 다양한 시스템에 심각한 피해를 입힐 수 있다. 또한 AI 웜은 네트워크를 공격해 서비스 중단을 유발할 가능성도 존재한다.

유명한 인공지능 선구자인 무스타파 술레이만(구글 소유 딥마인드 연구소 공동 창립자, 현 마이크로소프트 소비자 AI 사업 부문 총괄 책임자)은 과거 AI 기술이 "상상할 수 없는 규모의 재앙"이 될 수 있다고 경고했다.

20일 뉴욕포스트에 따르면 술레이만은 2023년에 출간된 저서 『다가오는 물결(The Coming Wave)』에서 AI, 합성생물학 및 기타 급성장하는 기술을 통해 "다양한 악의적 행위자들이 상상할 수 없는 규모의 혼란과 불안정, 심지어 재앙을 일으킬 수 있다"고 주장했다.

잘못된 정보의 확산을 촉진하고 경제적 격변을 일으킬 수 있는 AI의 잠재력도 그가 우려하는 부분 중 하나다.

술래이만은 지난해 FT와의 인터뷰에서 AI가 사무직 일자리를 뒤흔들고 고용 시장에서 "심각한 수의 패자를 양산할 수 있다"고 경고했다.

동시에 지난해 가을 월스트리트 저널의 책 리뷰에 따르면, 술레이만은 AI를 제대로 활용하면 "인류의 새로운 여명을 열고 사업을 운영하고 질병을 치료하며 전쟁을 치르는 데 도움이 될 수 있다"며 AI의 잠재적 이점에 대해 낙관적인 전망을 내놓기도 했다.

코넬 테크 연구팀이 제안한 AI 웜 시나리오는 초기 단계에 있는 AI 사업 분야에 양날의 검으로 작용할 수 있음을 시사하고 있다.