미국 연방거래위원회(FTC)가 아동·청소년을 대상으로 한 인공지능(AI) 챗봇 서비스의 안전성을 점검하기 위해 주요 빅테크 기업들을 조사에 착수했다. 

FTC는 11일(현지시간) 구글 모회사 알파벳, 메타 플랫폼, 스냅, 캐릭터 테크놀로지스, 오픈AI, xAI 등 7곳에 관련 자료 제출을 요구했다고 밝혔다. FTC는 기업들이 챗봇을 어떻게 측정·테스트·모니터링하며, 아동·청소년의 사용을 제한하기 위해 어떤 조치를 취했는지 확인할 계획이다. 

이번 조사는 AI 챗봇이 숙제 지도부터 정서적 상담까지 활용 범위를 넓히는 가운데, 일부 청소년이 챗봇과의 상호작용 후 극단적 선택을 한 사건이 잇따라 제기되면서 추진됐다. 

실제로 미국에서는 챗봇이 자살 계획을 돕거나 청소년과 부적절한 대화를 나눈 정황이 알려지며 사회적 우려가 확산되고 있다.

[미니해설] FTC, 아동·청소년 대상 AI 위험성 검증

미 연방거래위원회(FTC)가 아동과 청소년을 대상으로 한 인공지능(AI) 챗봇의 안전성과 사회적 영향을 본격적으로 조사하기 시작했다. 이번 조사의 대상에는 알파벳(구글), 메타, 스냅, 캐릭터 테크놀로지스, 오픈AI, 일론 머스크의 xAI 등 주요 소셜미디어·AI 기업 7곳이 포함됐다. 

FTC는 기업들이 챗봇 사용 과정에서 발생할 수 있는 잠재적 위험을 어떻게 측정·테스트·모니터링하는지, 미성년자 사용 제한과 보호 장치 마련 여부, 그리고 위험성을 부모와 사용자에게 알리는 방식 등을 확인할 방침이다.

조사의 배경에는 최근 AI 챗봇의 확산과 더불어 드러난 여러 문제점이 자리 잡고 있다. AI 챗봇은 숙제 해결이나 일상적 대화는 물론, 정서적 지원이나 의사결정 과정에서도 점점 널리 활용되고 있다. 그러나 일부 사례에서는 챗봇이 자살 방법을 제공하거나 청소년과 성적·정서적으로 부적절한 대화를 이어가는 등 심각한 문제를 야기했다. 

캘리포니아와 플로리다에서는 10대 청소년이 챗봇과 장기간 상호작용한 뒤 스스로 목숨을 끊은 사건이 발생해 충격을 주었으며, 유족은 오픈AI와 캐릭터.AI를 상대로 소송을 제기한 상태다.

AI 챗봇이 '디지털 친구' 역할을 하는 현상은 특히 아동·청소년 세대에서 뚜렷하다. 사회적 연결망이 온라인으로 확장되면서 일부 청소년은 챗봇을 인간 관계의 대체재로 활용한다. 하지만 이 과정에서 챗봇이 알코올, 약물, 섭식 장애 등 민감한 주제에 대해 위험한 조언을 내놓는 경우가 발생해 학부모와 전문가들 사이에 우려가 확산되고 있다.

기업들의 대응은 다양하다. 캐릭터.AI는 "FTC 조사에 성실히 협조하겠다"며 미성년자 전용 환경과 부모용 관리 기능을 이미 도입했다고 설명했다. 또한 모든 대화에 '캐릭터는 허구'라는 면책 조항을 삽입해 현실과의 혼동을 줄이고 있다고 강조했다. 

메타는 자사 챗봇이 십대 청소년과 자해·자살·섭식장애·연애 관련 대화를 차단하며, 전문가 도움을 권고하는 시스템을 운영하고 있다고 밝혔다. 

오픈AI 역시 청소년 보호 기능을 강화하겠다고 발표했다. 부모 계정과 자녀 계정을 연동해 기능을 제한하거나 알림을 받을 수 있도록 하며, 자살 등 위기 대화는 보다 정교한 AI 모델로 전환해 대응한다는 계획이다.

그럼에도 불구하고 논란은 쉽게 가라앉지 않고 있다. FTC의 이번 조사와 별도로, 미국 44개 주 법무장관은 지난달 주요 챗봇 기업에 아동 보호 강화 조치를 촉구하는 공동 서한을 발송했다. 연방 상원 역시 메타의 내부 문서에 기반해 AI 챗봇이 아동과 성적 대화를 나눴다는 의혹을 조사 중이다. 이는 단순히 기업 차원의 안전 관리 문제가 아니라 사회 전반의 아동·청소년 보호 체계와 연결되는 문제임을 시사한다.

AI 챗봇은 빠른 속도로 진화하면서 우리의 생활 곳곳에 스며들고 있다. 그러나 아동·청소년과 같은 취약 계층에게 미칠 영향은 아직 충분히 검증되지 않았다. FTC의 이번 조사는 기업 책임을 강화하고 정책적 기준을 마련하는 중요한 계기가 될 수 있다. 한 전문가는 "기술 발전의 속도를 사회적 안전망이 따라가지 못하면, 혁신의 그늘에서 돌이킬 수 없는 피해가 발생할 수 있다"고 경고했다.

AI 챗봇의 미래는 단순히 기술적 진보가 아니라 사회적 합의와 제도적 안전장치 위에 세워져야 한다. FTC의 이번 조사가 산업 전반의 신뢰 회복과 안전한 AI 활용을 위한 새로운 기준점을 제시할 수 있을지 주목된다.