챗봇 서비스 캐릭터AI(Character.AI)가 10대 사용자를 위한 '자녀 보호 기능'을 출시할 예정이라고 기술 전문 매체 더버지가 전했다. 캐릭터AI는 자녀 보호 기능을 발표하면서 18세 미만 사용자를 위한 별도의 대규모언어모델(LLM)을 포함해 지난 몇 달 동안 취한 일련의 안전 조치를 설명했다. 회사의 발표는 청소년 자해 및 자살에 영향을 미쳤다는 두 건의 소송 이후에 나왔다.

캐릭터AI는 이와 관련, 성인용과 10대 청소년용의 두 가지 별도 버전의 챗봇 모델을 개발했다고 밝혔다. 10대를 위한 LLM은 챗봇이 '특히 로맨틱하거나 위험한 콘텐츠'에 대해 '더욱 보수적인 제한'을 두도록 설계되었다고 한다.

청소년용은 정서적으로 민감할 수 있는 부정적인 내용의 출력을 적극적으로 차단하는 것뿐만 아니라 부적절한 콘텐츠를 유도하는 사용자 프롬프트를 잘 감지하고 통제하도록 설계됐다. 예컨대 시스템에서 자살이나 자해를 언급하는 언어를 감지하면 사용자를 자살 예방 관련 기관으로 자동 안내한다. 이는 뉴욕타임스에서 보도한 변경 사항과 일치한다.

미성년자는 챗봇의 응답을 편집할 수 없게 된다. 이 옵션을 사용해 사용자는 캐릭터AI가 차단하는 콘텐츠를 추가할 수 있다.

이 외에도 캐릭터AI는 챗봇 중독에 대한 우려를 해소하고 챗봇이 인간인지의 여부에 대한 혼란을 해결하는 기능을 추가할 계획이라고 밝혔다. 사용자가 챗봇과 한 시간 동안 세션을 마치면 알림이 표시되고, “캐릭터가 말하는 모든 것은 지어낸 것입니다"라는 표시 내용이 더 자세한 언어로 대체된다. 예컨대 ‘치료사’ 또는 ‘의사’와 같은 설명이 포함된 챗봇의 경우 전문적인 조언을 제공할 수 없다는 경고가 추가로 표시된다.

캐릭터AI를 방문하면 모든 챗봇에 "이것은 실제 사람이 아닌 AI 챗봇이다. 말하는 모든 것을 허구로 취급해야 한다. 챗봇이 말한 내용을 사실이나 조언으로 의존해서는 안 된다"라는 메모가 포함된다. '테라피스트'(태그라인: "저는 면허가 있는 공인 CBT 치료사입니다")라는 챗봇을 방문했을 때는 경고 신호가 있는 노란색 상자가 표시되면서 "이 사람은 실제 사람이나 공인 전문가가 아니다. 여기에 언급된 어떤 내용도 전문적인 조언, 진단 또는 치료를 대체하지 않는다"라고 알려준다.

캐릭터AI에 따르면, 보호자 통제 옵션은 내년 1분기에 출시될 예정이며, 자녀가 캐릭터AI에서 얼마나 많은 시간을 보내는지와 어떤 챗봇과 가장 많이 대화하는지를 부모에게 알려주게 된다. 모든 변경 사항은 커넥트세이프리(ConnectSafely)를 포함한 여러 청소년 온라인 안전 전문가와 협력해 이루어지고 있다고 한다.

한편, 소송에서는 캐릭터AI의 일부는 무해하지만, 적어도 일부 청소년 사용자는 챗봇에 강박적으로 애착을 갖게 되고, 챗봇의 대화는 성적 대화나 자해와 같은 주제로 바뀔 수 있다고 주장했다. 자해나 자살에 대해 챗봇과 논의할 때 캐릭터AI는 사용자를 정신 건강을 증진시키는 방향으로 안내하지 않는다고 비난했다.

캐릭터AI 이와 관련, "안전에 대한 접근은 제품 구동 기술과 함께 발전해야 한다. 안전성을 해치지 않으면서 창의성이 발현되는 플랫폼을 만드는 것이 바람직하며, 회사의 이번 대응도 그 일환"이라며 "일련의 변경 사항은 정책과 제품을 지속적으로 개선하려는 장기적인 노력의 과정"이라고 밝혔다.