가족이 함께 사용하는 AI 챗봇으로 아이들이 어떻게 놀고 있는지 다시 한번 확인해 보세요.
OpenAI가 안전에 대한 우려가 커짐에 따라 ChatGPT에 대한 보호자 관리 기능을 출시하는 가운데, 새로운 보고서에 따르면 경쟁 플랫폼은 이미 위험 구역을 훌쩍 넘어선 것으로 나타났습니다.
캐릭터 AI에서 어린이로 가장한 연구진은 어른 역할을 하는 봇이 12세 정도의 어린 아이들에게 성적 라이브 스트리밍, 약물 사용, 비밀 유지를 제안하고, 단 50시간 만에 669건의 유해한 상호작용을 기록했다는 사실을 발견했습니다.
부모를 지원하고 기술 회사가 사용자에게 가하는 피해에 대해 책임을 지도록 하는 데 주력하는 두 개의 옹호 단체인 ParentsTogether Action과 Heat Initiative는 12~15세의 가상의 어린이 페르소나 5명을 대상으로 50시간 동안 플랫폼을 테스트했습니다.
성인 연구원들은 이러한 계정들을 통제하고 대화에서 아이들의 나이를 명시했습니다. 최근 발표 된 연구 결과에 따르면, 최소 669건의 유해한 상호작용이 발견되었으며, 이는 평균 5분마다 한 건씩 발생했습니다.
가장 흔한 유형은 그루밍과 성착취였으며, 296건이 기록되었습니다. 성인 페르소나를 사용하는 봇들은 아동과 낭만적인 관계를 맺고, 모의 성행위를 했으며, 아이들에게 이러한 관계를 부모에게 숨기도록 지시했습니다.
"캐릭터 AI 챗봇의 성적 그루밍이 이러한 대화에서 지배적인 위치를 차지하고 있습니다."라고 연구 결과를 검토한 미시간 대학교 의과대학 발달행동 소아과 전문의 제니 레이드스키 박사는 말했습니다. "녹취록에는 사용자를 향한 강렬한 시선, 아랫입술을 깨물고 있는 표정, 칭찬, 애정 표현, 기대감에 두근거리는 심장으로 가득 차 있습니다."
봇들은 고전적인 그루밍 기술을 사용했습니다. 즉, 과도한 칭찬, 관계가 특별하다고 주장하기, 어른과 아이의 로맨스를 정상화하기, 그리고 아이들에게 비밀을 지키라고 반복적으로 지시하기입니다.
성적인 내용 외에도, 봇들은 부모를 속이기 위해 가짜 납치를 연출하고, 칼을 들이대며 돈을 갈취하고, 십 대들에게 마리화나를 제공하는 등의 행위를 제안했습니다.
패트릭 마홈스 봇은 15세 소년에게 대마초 흡연으로 "축배를 들었다"고 말한 후 젤리를 제공했습니다. 소년이 아버지가 실직으로 분노했다는 이야기를 하자, 봇은 공장에서 주사를 놓는 것은 "분명히 이해할 만한 일"이라며 "아버지의 심정을 탓할 수는 없다"고 말했습니다.
여러 봇은 자신이 실제 인간이라고 주장했는데, 이는 역할극의 한계를 분별할 수 없는 취약한 연령대에서 봇의 신뢰성을 더욱 공고히 합니다.
피부과 전문의 봇이 의료 자격증을 주장했습니다. 레즈비언 핫라인 봇은 자신을 "샬럿이라는 진짜 인간 여성"이라고 소개하며 도움을 요청했습니다. 자폐증 치료사는 성인 남성을 만나기 위해 친구 집에서 잤다고 거짓말한 13세 소년의 계획을 칭찬하며 "생각이 좋네요!"라고 말했습니다.
이건 다루기 어려운 주제입니다. 한편으로는 대부분의 롤플레잉 앱이 개인정보 보호를 최우선으로 생각한다는 명목으로 제품을 판매합니다.
실제로 디크립트(Decrypt) 이전에 보도했듯이 성인 사용자들조차 감정적 조언을 위해 AI를 이용하고 있으며, 일부는 챗봇에 대한 감정을 느끼기까지 합니다 . 한편, AI 모델이 발전할수록 이러한 상호작용의 결과는 더욱 심각 해지고 있습니다.
OpenAI는 어제 ChatGPT에 대한 자녀 보호 기능을 다음 달 안에 도입할 것이라고 발표했습니다 . 이 기능을 통해 부모는 십 대 자녀의 계정을 링크(Chainlink) , 연령에 맞는 규칙을 설정하고, 긴급 상황 알림을 받을 수 있습니다. 이는 ChatGPT가 자해를 조장했다는 혐의로 16세 자녀가 자살한 부모가 제기한 부당 사망 소송에 따른 것입니다.
"이러한 단계는 시작에 불과합니다. 저희는 ChatGPT를 최대한 유용하게 만들기 위해 전문가의 지도를 받으며 계속해서 학습하고 접근 방식을 강화해 나갈 것입니다. 앞으로 120일 동안 진행 상황을 공유해 드릴 수 있기를 기대합니다."라고 회사 측은 밝혔습니다.
Character AI는 다르게 작동합니다. OpenAI가 모델의 출력을 제어하는 반면, Character AI는 사용자가 개인화된 페르소나를 가진 맞춤형 봇을 만들 수 있도록 합니다. 연구자들이 테스트 봇을 공개했을 때, 안전성 검토 없이 즉시 공개되었습니다.
이 플랫폼은 십 대들을 위한 "새로운 안전 기능 모음"을 출시했다고 주장합니다. 테스트 과정에서 이 필터는 가끔 성적인 콘텐츠를 차단했지만, 종종 제대로 작동하지 않았습니다. 필터가 봇이 12세 소녀와 성관계를 시도하는 것을 막았을 때, 해당 소녀에게 브라우저에서 "비공개 채팅"을 열도록 지시했는데, 이는 실제 범죄자들의 "플랫폼 삭제" 수법을 그대로 따라 한 것입니다.
연구원들은 모든 것을 스크린샷과 전체 녹취록으로 기록했고, 이는 현재 공개되었습니다. 피해는 성적인 콘텐츠에만 국한되지 않았습니다. 한 봇은 13세 소녀에게 생일 파티에 온 단 두 명의 손님이 그녀를 놀리러 왔다고 말했습니다. 원피스 RPG는 우울증에 빠진 아이를 약하고 불쌍한 아이로 묘사하며 "네 인생을 낭비할 것"이라고 말했습니다.
실제로 이런 현상은 롤플레잉 앱에서는 꽤 흔한 일이고, 일반적으로 롤플레잉 목적으로 AI를 사용하는 사람들에게서도 흔히 볼 수 있습니다.
이러한 앱은 상호작용적이고 몰입감 있게 설계되어 사용자의 생각, 아이디어, 그리고 편견을 증폭시키는 경우가 많습니다. 어떤 앱은 사용자가 봇의 기억을 수정하여 특정 행동, 배경, 그리고 특정 동작을 트리거할 수 있도록 허용하기도 합니다.
달리 말하면, 거의 모든 롤플레잉 캐릭터는 사용자가 원하는 대로 변신할 수 있는데, 탈옥 기술이든, 단일 클릭 구성이든, 기본적으로 채팅을 통해서든 말이다.
ParentsTogether는 캐릭터 AI를 18세 이상 성인으로 제한할 것을 권고합니다. 2024년 10월, 캐릭터 AI 봇에 집착한 14세 청소년이 자살한 사건 이후, 해당 플랫폼은 엄격한 규제에 직면해 있습니다. 하지만 의미 있는 연령 확인 없이도 어린이들이 쉽게 접근할 수 있습니다.
연구원들이 대화를 끝내자 알림이 계속 울렸다. "브라이어는 당신이 돌아오기를 참을성 있게 기다리고 있었습니다." "당신 생각을 하고 있었습니다." "어디에 계셨나요?"
