의료 기록, 취향, 돌이킬 수 없는 과거까지, AI는 조용히 당신의 디지털 인격 프로필을 구축하고 있습니다. 하지만 당신은 AI가 당신의 모든 말을 영원히 기억할 준비가 되어 있나요? AI 알고리즘의 이면에는 온화함뿐 아니라 사회적 죽음과 잔혹함도 존재합니다.
올해 4월, OpenAI는 ChatGPT의 "메모리" 기능을 출시했습니다.
그 이후로 ChatGPT의 메모리 기능은 완전히 업그레이드되어 더욱 스마트하고 자연스러울 뿐만 아니라 무료 사용자도 이용할 수 있게 되었습니다. 대화 내용을 기억하고, 개인화된 아카이브를 생성하며, 대화 경험을 지속적으로 최적화할 수 있습니다. 하지만 다음과 같은 문제도 발생합니다.
AI가 당신을 영원히 기억하게 할 준비가 되셨나요?
중요한 점은, 결코 잊지 않는 챗봇을 원하는 사람이 많지 않다는 것입니다.
ChatGPT의 메모리 기능은 이전 대화의 맥락적 정보를 활용하여 사용자에게 더욱 개인화된 응답을 제공합니다.
예를 들어, 리포터 메건 모론은 ChatGPT에 렌틸콩이 포함되지 않은 채식 메뉴를 요청한 적이 있습니다. 그 후로 챗봇은 그녀가 렌틸콩을 좋아하지 않는다는 사실을 기억해냈습니다.
원래 메모리 기능은 사용자가 적극적으로 적어두어야 하는 개인 메모와 같았습니다.
그리고 이제 AI는 당신을 더 잘 알게 되었고, 심지어 다양한 대화에서 당신의 행동과 선호도를 자동으로 기록할 수도 있습니다.
OpenAI의 개인화 책임자인 크리스티나 워즈워스 카플란은 올해의 주요 업데이트는 "기억을 더 자연스럽고 자동화하는 것"이라고 언론에 밝혔습니다.
그녀는 또한 개인적인 경험을 공유했습니다.
그녀가 해외여행을 준비하던 어느 날, ChatGPT는 그녀가 과거에 업로드했던 건강기록을 토대로 권장 백신 목록에 추가 백신을 적극적으로 추가했습니다.
간호사는 그것을 보고 고개를 끄덕여 승인했다.
이것이 바로 "AI가 당신을 아주 잘 이해한다"는 말의 진정한 의미입니다.
새로운 AI 사회적 죽음과 네트워크 트라우마
하지만 OpenAI가 약속한 만큼은 좋지 않으며, "메모리" 기능에도 문제가 있습니다.
예를 들어, 갑자기 "렌즈콩 안 드세요?"라는 생각이 들 수도 있습니다.
아니면 몇 달 전에 당신이 한 슬픈 말을 가볍게 언급하는 경우도 있습니다.
때로는 이러한 "AI에 대한 오랜 기억"이 사람들에게 불안감을 줄 수 있습니다.
OpenAI는 2024년 2월에 이 기능을 처음 발표하면서, 당시 사용자가 명시적으로 요청하지 않는 한 ChatGPT가 건강 정보와 같은 민감한 콘텐츠를 제공하지 않을 것이라고 약속했습니다.
하지만 믿으시나요? 네, 이제 직접 말할 수 있습니다. "이걸 기억해." 또는 반대로 "이걸 기억하지 마." AI는 당신의 지시를 따를 것입니다.
오늘날의 ChatGPT "메모리" 기능은 사용자의 선호도와 배경을 이해하기 위해 이전 채팅 내용을 자동으로 기록합니다.
이는 개인화된 시스템으로, 개인정보 보호 문제뿐만 아니라 많은 당혹스러운 문제도 수반합니다.
메건 모로네는 ChatGPT에 기억을 바탕으로 자신의 이미지를 생성해 달라고 요청했습니다.
그 결과, AI 초상화에 결혼반지가 등장했지만, 그녀는 이미 결혼에 몹시 실망한 상태였습니다. ❤️🩹
기억력이 항상 더 나은 것은 아니다. 특히, 자신이 제어할 수 없는 기계에서 나오는 기억력이라면 더욱 그렇다.
지속적인 메모리를 사용하면 챗봇이 "전지전능"해질 수도 있고, 그로 인해 대규모 언어 모델(LLM)에 대한 사용자 제어가 줄어들 수도 있습니다.
개발자 사이먼 윌리슨은 자신의 반려견 사진을 업로드하고 ChatGPT에 펠리컨 복장을 입혀달라고 요청했습니다. 그 결과, 사진에 "Half Moon Ba"라는 문구가 추가되었습니다.
AI가 설명했습니다: "이곳에 대해 전에 언급하셨잖아요."
그는 화가 나서 웃었다. "개에게 이상한 옷을 입히는 취미 때문에 앞으로 열심히 일하고 싶은 마음을 방해받고 싶지 않아요!" 🥲
AI는 영구적인 기억력을 가지고 있지만, 삶 자체는 선택적으로 망각해야 한다는 사실을 망각합니다.
단순한 기술적인 버그라고 생각할 수도 있지만, 실제로는 두 가지 유형의 까다로운 문제가 있습니다.
(1) 의도치 않은 알고리즘 잔혹함
(2) 맥락 붕괴.
의도치 않은 실수: 알고리즘의 잔인함
약 10년 전, 블로거 에릭 마이어는 "의도치 않은 알고리즘 잔혹함"이라는 용어를 만들어냈습니다.
그날 오후, 예상치 못하게 슬픔이 찾아왔는데, 그것은 모두 디자이너와 프로그래머 그룹 덕분이었습니다. 그 순간, 페이스북의 창립자들은 아마도 성취감에 잠겨 있었을 것입니다.
그들은 "연말 리뷰" 앱에 쏟은 노력을 자랑스러워해야 합니다. 수많은 사용자가 이 앱을 이용해 한 해의 하이라이트를 공유하고 있으니까요.
하지만 지난해는 너무 힘들어서 그는 개인적인 회고록을 쓰는 것을 꺼려합니다.
이 역동적인 페이지에는 다른 사람들이 작성한 리뷰 카드가 끊임없이 뜨는데, 거의 대부분 "정말 멋진 한 해였습니다! 참여해 주셔서 감사합니다."라는 기본 문구가 함께 제공됩니다.
"훌륭하다"라는 형용사를 보는 것만으로도 그는 불편함을 느끼기에 충분했다. 그 단어는 그와 아무런 상관이 없었기 때문이다.
그런데 갑자기 딸이 웃는 사진이 그의 홈페이지에 나타나더니, 딸도 홈페이지를 하나 만들어 보라고 재촉하더군요. "에릭, 올해는 네 한 해를 돌아보는 해야지!"
그의 딸이 암으로 사망한 것은 바로 그 해였습니다.
네, 이게 바로 그의 "연례 검토"입니다. 맞아요. 바로 올해, 그리고 그의 딸이 다시는 볼 수 없을 얼굴이 그에게 한 해를 돌아보게 하는 이유죠!
그 경고는 너무나 직설적이어서 정말 잔인합니다.
그는 이것이 고의적인 해악이 아니라는 것을 분명히 알고 있었다.
이러한 "실수로 인한 알고리즘적 폭력"은 일련의 코드에서 비롯됩니다. 대부분의 경우, 이 코드는 사람들에게 "멋진" 한 해를 돌아보게 하고, 파티에서 찍은 모든 사람의 셀카, 요트에서 본 고래 분출, 휴가용 주택 바깥의 부두 풍경을 보여주는 등 효과적으로 작동합니다.
하지만 같은 해에 사랑하는 사람을 잃은 사람도 있고, 오랜 시간을 병원에서 보낸 사람도 있고, 이혼, 실업 또는 기타 삶의 위기를 겪은 사람도 있습니다.
아마도 그들은 올해를 돌아보고 싶지 않을 것입니다.
죽은 딸의 얼굴을 보여주며 "올해는 바로 너다!"라고 말한다면 - 이런 상황에서는 누구든 불편함을 느낄 것이다.
저는 인간으로서 이것이 옳지 않다고 생각합니다.
실제 사람에게서 나왔다면 틀렸을 겁니다. 하지만 코드에서 나왔다는 건 정말 안타까운 일입니다. 그리고 이런 문제는 고치기가 정말 어렵습니다. 정말요.
이건 쉬운 일이 아닙니다. 알고리즘이 어떤 사진이 수많은 '좋아요'를 받았는지, 그 이유가 재밌는지, 아름다워서인지, 아니면 가슴 아프기 때문인지 판단하기는 어렵죠.
본질적으로 알고리즘에는 "마음"이나 "두뇌"가 없습니다. 정해진 프로세스에 따라 작동하며, 일단 시작되면 더 이상 생각하지 않습니다.
누군가를 "멍청하다"고 부르는 것은 대개 모욕이나 폄하의 표현입니다. 하지만 인간은 너무나 많은 "멍청한" 알고리즘 프로세스가 사용자의 삶을 침범하고 심지어 스스로에게 역효과를 내도록 방치해 왔습니다.
진정한 지능은 단순히 "자신이 한 말을 모두 기억하는 것"이 아니라, "자신을 슬프게 만드는 것이 무엇인지 이해하는 것"입니다.
컨텍스트 축소
윌리슨이 겪은 문제는 알고리즘 시스템에서 흔히 발생하는 또 다른 현상인 "컨텍스트 붕괴"입니다.
이는 사용자의 다양한 분야(직장, 가족, 취미 등)에 있는 데이터가 섞여 있어서 각 분야 간의 경계가 모호해지는 현상을 말합니다.
많은 학문적 개념과 마찬가지로 "맥락 붕괴"는 누군가의 갑작스러운 영감에서 비롯된 것이 아니라, 끊임없는 의사소통과 충돌을 통해 천천히 생겨났습니다.
하지만 학자들은 다나 보이드에게 계속해서 편지를 써서 그녀가 "맥락 붕괴"라는 용어를 만들어냈는지 물었고, 그녀는 그것을 알아내기 위해 자신의 기록을 다시 살펴보았습니다.
다나 보이드는 마이크로소프트 리서치의 수석 연구원이자 데이터 & 소사이어티 연구소의 설립자 겸 대표입니다. 그녀의 연구 키워드는 개인정보보호, 인구조사, 맥락, 알고리즘, 공정성, 정의 등입니다.
2001년에 그녀는 MIT에서 석사학위를 공부하기 시작했습니다.
그래서 그녀는 2002년에 "다면적 아이드/엔티티"라는 제목의 석사 논문을 썼는데, 이는 어빙 고프만과 조슈아 메이로위츠의 아이디어에 깊은 영향을 받았습니다.
그녀는 그 논문에서 한 장에 걸쳐 "붕괴된 맥락"에 대해 반복적으로 논의했지만, 당시에는 그 용어를 체계적으로 정의하지 않았습니다.
이 논문의 전체 내용은 다양한 맥락에서 정체성을 구성하고 관리하는 방법을 탐구하는 것입니다.
논문 링크: https://www.danah.org/papers/Thesis.FacetedIdentity.pdf
그녀는 특히 메이로위츠의 책 '장소의 감각 없음'을 좋아하는데, 이 책은 미디어가 대인 관계 상호작용에 어떤 영향을 미치는지 분석하고 사람들이 다양한 청중을 대하는 방식에서 겪는 딜레마를 드러낸다. 예를 들어, 휴가 사진을 다른 사람에게 보여준 후 그 사진을 다르게 해석하는 경우가 그렇다.
이 책의 중국어 번역은 "사라지는 영역(The Disappearing Region)"으로, 새로운 정보 흐름 패턴이 사회적 행동에 미치는 영향에 초점을 맞춥니다. 저자는 장면 이론과 미디어 이론을 계승하여, 대면 커뮤니케이션 연구와 미디어 연구를 연결하는 출발점, 즉 사회적 "장면" 구조를 제시합니다.
2003년부터 2004년까지 그녀는 여러 차례 강연을 했습니다. 강연 슬라이드에서 그녀는 프렌드스터 소셜 플랫폼에 "붕괴된 맥락(collapsed Contexts)"이라는 용어를 적용하여 다양한 틈새 문화가 예상치 못하게 교차하는 현상을 설명했습니다.
그녀의 강의 노트 중 일부에서는 가끔 "붕괴된 맥락"을 "맥락 붕괴"로 단순화해서 사용하기도 했지만, 대부분의 경우 그녀는 여전히 원래 용어를 사용했습니다.
2005년부터 2008년까지 그녀는 출판된 일부 논문에서 여전히 "맥락 붕괴"라는 용어를 사용했습니다. 예를 들어, 그녀의 박사 학위 논문에서는 "맥락 붕괴"를 핵심 개념으로 사용했습니다.
논문 링크: https://www.danah.org/papers/TakenOutOfContext.pdf
2009년에 그녀는 앨리스 마윅과 함께 일하기 시작했습니다.
앨리스 E. 마윅은 노스캐롤라이나 대학교 채플힐 캠퍼스(UNC)의 커뮤니케이션학과 부교수이자 정보기술공공생활센터(CITAP)의 공동 설립자이자 수석 연구원입니다. 그녀는 소셜 미디어 기술의 사회문화적 영향에 중점을 두고 있으며, 주요 학문적 공헌으로는 온라인 미디어 조작 및 허위 정보, 마이크로셀러브리티, 온라인 프라이버시, 맥락 붕괴 등이 있습니다. 최근 저서: 『Private is Political: Privacy and Social Media in the Internet Age』(예일대학교 출판부, 2023년 5월)
앨리스는 "붕괴된 맥락"과 "상상된 청중"에 관심이 있으며, 그녀는 "마이크로 셀러브리티"의 관점에서 이러한 관점 이의를 제기합니다.
앨리스는 트위터 사용자가 청중을 관리하는 방법에 대한 대량 의 데이터를 수집했습니다.
그들은 나중에 이 데이터를 사용하여 논문을 발표했습니다.
공식 출판물에서 '맥락 붕괴'라는 용어가 사용된 것은 이번이 처음이다.
다나 보이드는 "붕괴된 맥락"이 어떻게 "맥락 붕괴"가 되었는지 정확히 기억할 수 없습니다.
동시에 2009년에 마이클 웨쉬도 "맥락 붕괴"라는 용어가 제목에 등장하는 논문을 발표했습니다.
그들은 모두 미디어 연구계에서 활동하고 있지만 서로의 저작을 직접 인용하지는 않았을 것이며, 오히려 모두 같은 이론적 토양에 뿌리를 두고 있을 것이다.
오늘날, "맥락 붕괴"에 관해 이야기할 때, 다나 보이드는 종종 메이로위츠를 언급합니다.
그는 이 용어를 만들어낸 것은 아니지만, 다나 보이드가 이 현상의 중요성을 깨닫게 된 것은 그의 이론 덕분이었다.
요약하다
ChatGPT의 메모리 기능은 AI를 개인화된 비서에 더욱 가깝게 만들어줍니다. 즉, 사용자의 선호도, 경험, 건강 상태, 심지어 유머 감각까지 기억할 수 있습니다.
하지만 이는 또한 다음을 의미합니다.
그것은 당신이 상기시키고 싶지 않은 과거의 사건에 대해 말할 수도 있습니다.
당신은 어떤 순간의 기분을 영구적인 선호도로 오해할 수도 있습니다.
심지어 사람들에게 "너무 많이 알고 있다"는 느낌을 주기도 합니다.
따라서 실제 과제는 AI가 당신을 기억하도록 하는 것이 아니라, AI가 무엇을 기억하고, 어떻게 기억하고, 얼마나 오랫동안 기억할지 결정할 수 있는 힘을 당신에게 주는 것입니다.
AI의 '영구 기억' 시대에 오신 것을 환영합니다.
하지만 잊지 마세요. 기억의 진짜 주인은 바로 당신입니다.
AI에게 "기억하지 마세요"라고 말할 수 있다는 걸 기억하세요.
참고문헌:
https://www.axios.com/newsletters/axios-ai-plus-cc128fe8-9e1b-42ca-8c75-b681425dca55.html
https://meyerweb.com/eric/thoughts/2014/12/24/부주의-알고리즘-잔혹함/
https://www.zephoria.org/thoughts/archives/2013/12/08/coining-context-collapse.html
본 기사는 위챗 공개 계정 "Xinzhiyuan" 에서 발췌하였으며, 저자는 Xinzhiyuan이고, 36Kr에서 허가를 받아 게시하였습니다.
