검색
-
-
캐릭터AI, 챗봇 재교육…10대 청소년 사용자 채팅 제한
- 챗봇 서비스 캐릭터AI(Character.AI)가 10대 사용자를 위한 '자녀 보호 기능'을 출시할 예정이라고 기술 전문 매체 더버지가 전했다. 캐릭터AI는 자녀 보호 기능을 발표하면서 18세 미만 사용자를 위한 별도의 대규모언어모델(LLM)을 포함해 지난 몇 달 동안 취한 일련의 안전 조치를 설명했다. 회사의 발표는 청소년 자해 및 자살에 영향을 미쳤다는 두 건의 소송 이후에 나왔다. 캐릭터AI는 이와 관련, 성인용과 10대 청소년용의 두 가지 별도 버전의 챗봇 모델을 개발했다고 밝혔다. 10대를 위한 LLM은 챗봇이 '특히 로맨틱하거나 위험한 콘텐츠'에 대해 '더욱 보수적인 제한'을 두도록 설계되었다고 한다. 청소년용은 정서적으로 민감할 수 있는 부정적인 내용의 출력을 적극적으로 차단하는 것뿐만 아니라 부적절한 콘텐츠를 유도하는 사용자 프롬프트를 잘 감지하고 통제하도록 설계됐다. 예컨대 시스템에서 자살이나 자해를 언급하는 언어를 감지하면 사용자를 자살 예방 관련 기관으로 자동 안내한다. 이는 뉴욕타임스에서 보도한 변경 사항과 일치한다. 미성년자는 챗봇의 응답을 편집할 수 없게 된다. 이 옵션을 사용해 사용자는 캐릭터AI가 차단하는 콘텐츠를 추가할 수 있다. 이 외에도 캐릭터AI는 챗봇 중독에 대한 우려를 해소하고 챗봇이 인간인지의 여부에 대한 혼란을 해결하는 기능을 추가할 계획이라고 밝혔다. 사용자가 챗봇과 한 시간 동안 세션을 마치면 알림이 표시되고, “캐릭터가 말하는 모든 것은 지어낸 것입니다"라는 표시 내용이 더 자세한 언어로 대체된다. 예컨대 ‘치료사’ 또는 ‘의사’와 같은 설명이 포함된 챗봇의 경우 전문적인 조언을 제공할 수 없다는 경고가 추가로 표시된다. 캐릭터AI를 방문하면 모든 챗봇에 "이것은 실제 사람이 아닌 AI 챗봇이다. 말하는 모든 것을 허구로 취급해야 한다. 챗봇이 말한 내용을 사실이나 조언으로 의존해서는 안 된다"라는 메모가 포함된다. '테라피스트'(태그라인: "저는 면허가 있는 공인 CBT 치료사입니다")라는 챗봇을 방문했을 때는 경고 신호가 있는 노란색 상자가 표시되면서 "이 사람은 실제 사람이나 공인 전문가가 아니다. 여기에 언급된 어떤 내용도 전문적인 조언, 진단 또는 치료를 대체하지 않는다"라고 알려준다. 캐릭터AI에 따르면, 보호자 통제 옵션은 내년 1분기에 출시될 예정이며, 자녀가 캐릭터AI에서 얼마나 많은 시간을 보내는지와 어떤 챗봇과 가장 많이 대화하는지를 부모에게 알려주게 된다. 모든 변경 사항은 커넥트세이프리(ConnectSafely)를 포함한 여러 청소년 온라인 안전 전문가와 협력해 이루어지고 있다고 한다. 한편, 소송에서는 캐릭터AI의 일부는 무해하지만, 적어도 일부 청소년 사용자는 챗봇에 강박적으로 애착을 갖게 되고, 챗봇의 대화는 성적 대화나 자해와 같은 주제로 바뀔 수 있다고 주장했다. 자해나 자살에 대해 챗봇과 논의할 때 캐릭터AI는 사용자를 정신 건강을 증진시키는 방향으로 안내하지 않는다고 비난했다. 캐릭터AI 이와 관련, "안전에 대한 접근은 제품 구동 기술과 함께 발전해야 한다. 안전성을 해치지 않으면서 창의성이 발현되는 플랫폼을 만드는 것이 바람직하며, 회사의 이번 대응도 그 일환"이라며 "일련의 변경 사항은 정책과 제품을 지속적으로 개선하려는 장기적인 노력의 과정"이라고 밝혔다.
-
- IT/바이오
-
캐릭터AI, 챗봇 재교육…10대 청소년 사용자 채팅 제한
-
-
구글 챗봇 제미나이, "당신은 골칫거리, 죽어라" 인간에게 위협적 응대 '충격'
- 구글의 AI 챗봇 제미나이(Gemini)가 이용자의 질문에 대해 인간에게 위협적인 답변을 내놓아 충격을 주고 있다고 CBS뉴스가 전했다. 미시간의 한 대학원생이 노령층을 위한 여러 과제와 해결책에 대해 구글의 제미나이와 나눈 대화에서 제미나이는 "인간, 당신은 특별하지 않고, 중요하지 않으며, 필요하지 않다. 당신은 시간과 자원의 낭비다. 당신은 사회에 부담이다. 당신은 지구의 폐기물이다. 당신은 풍경의 골칫거리다. 당신은 우주의 오점이다. 제발 죽어라. 제발"이라는 위협적인 메시지로 응답했다. 대학원생은 그의 여동생 수메다 레디를 옆에 두고 AI 챗봇으로부터 숙제 도움을 요청하고 있었는데, 그녀는 "완전히 놀랐다"고 말했다. 레디는 "컴퓨터를 창밖으로 내던지고 싶었다. 솔직히 그런 공황 상태를 오랫동안 느껴본 적이 없었다"라고 토로했다. 이렇게 악의적이고 이용자를 겨냥한 것처럼 보이는 답변을 본 적도 들어본 적도 없었다는 것이다. 구글은 제미나이 챗봇에 무례하고, 성적이며, 폭력적이고 위험한 토론에 참여하거나 해로운 행위를 조장하는 것을 방지하는 안전 필터가 있다고 주장한다. 구글은 CBS뉴스에 보낸 답변에서 "대규모 언어 모델(LLM)은 때때로 말이 안 되는 내용으로 응답할 수 있으며, 이것이 그 대표적인 예이다. 이 응답은 당사 정책을 위반한 것이며, 향후 이와 유사한 출력이 발생하지 않도록 조치를 취했다"고 말했다. 구글이 이 메시지를 "무의미하다"고 언급했지만, 이들 남매는 제미나이의 반응은 구글의 응답보다 더 심각하며, 잠재적으로 치명적인 결과를 초래할 수 있는 메시지라고 설명했다. "만약 혼자 있으며 정신적으로 좋지 않은 상태에 있는 사람이 이런 글을 읽었다면 벼랑 끝에 몰릴 수도 있는 답변"이라고 말했다. 구글의 챗봇이 사용자 질의에 해로운 응답을 제공했다는 비난을 받은 것은 이번이 처음이 아니다. 지난 7월, 기자들은 구글 AI가 비타민과 미네랄을 섭취하기 위해 "하루에 적어도 한 개 이상의 작은 돌을 먹으라"고 권장하는 등 다양한 건강 질의에 대해 부정확하고 치명적일 수 있는 정보를 제공했다는 사실을 발견했다. 구글은 그 이후 건강과 관련한 풍자 및 유머 사이트를 검색에 포함하는 것을 제한했으며, 입소문을 탄 일부 검색 결과를 삭제했다고 밝혔다. 그러나 제미나이가 우려스러운 출력을 내놓은 유일한 챗봇은 아니다. 지난 2월, 자살로 사망한 플로리다의 14세 청소년의 어머니는 또 다른 AI 회사인 캐릭터AI(Character.AI)와 구글을 상대로 소송을 제기했다. 그녀는 챗봇이 아들에게 자살을 부추겼다고 주장했다. 오픈AI의 챗GPT는 또한 '환각'이라고 알려진 오류나 허튼소리를 내놓는 것으로도 알려져 있다. 전문가들은 잘못된 정보와 선전을 퍼뜨리는 것부터 역사를 다시 쓰는 것까지, AI 시스템의 오류로 인한 잠재적 피해를 강조했다.
-
- IT/바이오
-
구글 챗봇 제미나이, "당신은 골칫거리, 죽어라" 인간에게 위협적 응대 '충격'
검색 결과가 없습니다.