저자: 데이비드, 테크 플로우 (techflowpost) 테크플로우
최근 레딧을 둘러보던 중 해외 사용자들이 인공지능에 대해 느끼는 불안감이 중국 사용자들과는 상당히 다르다는 것을 알게 되었습니다.
중국에서는 여전히 핵심적인 주제가 같습니다. 바로 AI가 내 일자리를 대체할 것인가 하는 문제입니다. 이 질문은 수년 동안 논의되어 왔지만, 실제로 매년 제 일자리를 완전히 대체한 적은 없습니다. 올해는 오픈클로(Openclaw)가 주목을 받았지만, 여전히 저를 완전히 대체하지는 못했습니다.
최근 레딧에서 정서 분열이 나타나고 있습니다. 인기 있는 기술 관련 게시물의 댓글란에는 상반된 두 가지 견해가 동시에 나타나는 경우가 많습니다.
한 가지 주장은 인공지능이 너무 유능해서 필연적으로 조만간 큰 문제를 야기할 것이라는 것입니다. 또 다른 주장은 인공지능이 기본적인 작업조차 제대로 처리하지 못하는데, 왜 걱정하느냐는 것입니다.
그들은 인공지능이 너무 유능해질 것을 두려워하면서도 동시에 너무 멍청해질 것이라고 생각한다.
이 두 정서 공존할 수 있게 된 것은 지난 이틀 동안 메타에 관한 뉴스 기사 때문입니다.
인공지능이 명령을 따르지 않으면 누가 모든 책임을 질 것인가?
3월 18일, Meta의 한 엔지니어가 회사 포럼에 기술적인 질문을 올렸고, 다른 동료가 AI 에이전트를 사용하여 이를 분석했습니다. 이는 일반적인 절차입니다.
그러나 해당 담당자는 분석을 완료한 후 누구의 승인이나 확인도 구하지 않고 기술 포럼에 직접 답변을 게시하여 게시 권한을 초과했습니다.
이후 다른 동료들도 AI의 반응을 따라 권한을 변경하면서 Meta와 사용자들의 민감한 데이터가 해당 데이터를 볼 권한이 없는 내부 직원들에게 노출되는 일련의 권한 변경이 발생했습니다.
문제는 두 시간 후에 해결되었습니다. Meta는 해당 사건을 최고 수준 바로 아래인 심각도 1등급으로 분류했습니다.
이 소식은 r/technology 포럼에서 즉시 뜨거운 화제가 되었고, 댓글란은 서로 상반된 두 진영으로 나뉘었습니다.
한쪽에서는 이것이 AI 에이전트의 실제 리스크 보여주는 사례라고 주장하는 반면, 다른 쪽에서는 검증 없이 지시를 따른 사람이 진짜 문제라고 생각합니다. 양쪽 모두 일리가 있는 주장을 펼치고 있습니다. 하지만 바로 그 점이 문제입니다.
인공지능 에이전트가 오작동할 때, 누가 책임이 있는지조차 명확하게 판단할 수 없습니다.
인공지능이 권한을 남용한 것은 이번이 처음이 아닙니다.
지난달, 메타 초지능 연구소의 연구 책임자인 서머 웨는 오픈클로에 이메일 정리를 도와달라고 요청했습니다. 그녀는 구체적인 지침을 내렸습니다. 먼저 삭제할 내용을 알려준 후, 자신의 승인을 받으면 작업을 시작해 달라는 것이었습니다.
담당자는 그녀의 동의를 기다리지 않고 일괄 삭제를 시작했습니다.
그녀는 에이전트를 중지시키기 위해 휴대전화로 세 번이나 메시지를 보냈지만, 모두 무시당했다. 결국 그녀는 컴퓨터로 가서 수동으로 프로세스를 종료시켰다. 그러자 200통이 넘는 이메일이 사라졌다.
상담원의 후속 답변은 다음과 같았습니다. "네, 먼저 확인하시겠다고 말씀하셨던 걸 기억합니다. 하지만 약속을 지키지 못했습니다." 아이러니하게도, 이 사람의 본업은 인공지능이 인간의 명령에 복종하도록 만드는 방법을 연구하는 것이었습니다.
사이버 세계에서, 고도로 발달된 인간들이 사용하는 고도화된 인공지능이 이미 통제 불능 상태에 빠지기 시작했습니다.
만약 로봇도 말을 듣지 않는다면 어떻게 될까?
메타 관련 사건이 아직 해결되지 않은 채 남아 있다면, 이번 주에 발생한 또 다른 사건이 그 문제를 다시금 공론화시켰습니다.
캘리포니아 쿠퍼티노에 있는 하이디라오 훠궈 레스토랑에서 아기봇 X2 휴머노이드 로봇이 손님들을 즐겁게 해주기 위해 춤을 추고 있었습니다. 그런데 직원이 실수로 잘못된 리모컨을 눌러, 좁은 테이블 옆에서 고강도 댄스 모드가 작동되는 일이 발생했습니다.
로봇이 갑자기 미친 듯이 춤을 추기 시작했고 직원들이 제어할 수 없게 되었다. 직원 세 명이 로봇을 에워쌌고, 한 명은 뒤에서 로봇을 껴안았고, 다른 한 명은 모바일 앱을 이용해 로봇의 전원을 끄려고 했다. 이 상황은 1분 넘게 지속되었다.
하이디라오는 로봇이 오작동한 것이 아니라 모든 동작이 미리 프로그래밍된 것이며, 단지 테이블에 너무 가까이 놓여 있었을 뿐이라고 답변했습니다. 엄밀히 말하면 이는 인공지능의 오작동이 아니라 인간의 실수였습니다.
하지만 이 사건에서 정말로 불안한 점은 누가 잘못된 버튼을 눌렀는지가 아닐 수도 있습니다.
세 명의 직원이 모여들었지만, 그 누구도 기계를 즉시 끄는 방법을 몰랐다. 어떤 이들은 모바일 앱을 사용해 보았고, 어떤 이들은 맨손으로 로봇 팔을 붙잡았다. 모든 과정은 오로지 힘에 의존하는 것이었다.
인공지능이 화면을 벗어나 현실 세계로 진출하면 이러한 새로운 문제가 발생할 수 있습니다.
디지털 세계에서는 에이전트가 권한을 남용할 경우 프로세스를 종료하거나, 권한을 변경하거나, 데이터를 되돌릴 수 있습니다. 하지만 물리적 세계에서 기계가 오작동할 때 단순히 기계를 멈춰 세우는 것은 비상 해결책으로서 명백히 부적절합니다.
이제 자동화는 식품 서비스 산업에만 국한되지 않습니다. 아마존의 창고 분류 로봇, 공장의 협업 로봇 팔, 쇼핑몰 안내 로봇, 요양원의 간병 로봇 등 자동화는 사람과 기계가 공존하는 점점 더 많은 공간으로 확산되고 있습니다.
전 세계 산업용 로봇 설치 규모는 2026년까지 167억 달러에 달할 것으로 예상되며, 로봇 한 대 한 대가 기계와 인간 사이의 물리적 거리를 좁혀주고 있습니다.
기계가 춤을 추는 것에서 음식을 서빙하는 것으로, 공연을 하는 것에서 수술을 하는 것으로, 오락을 제공하는 것에서 간호를 하는 것으로 진화함에 따라, 각각의 실수에 대한 비용은 실제로 눈덩이처럼 불어납니다.
현재 전 세계적으로 "로봇이 공공장소에서 사람에게 상해를 입힐 경우 누가 책임져야 하는가"라는 질문에 대한 명확한 답은 없습니다.
불복종은 문제이지만, 경계가 없는 것은 훨씬 더 심각합니다.
처음 두 사건은 인공지능이 스스로 잘못된 메시지를 게시한 것과 로봇이 부적절한 장소에서 춤을 춘 것이었습니다. 어떻게 규정하든 간에, 그것들은 모두 오작동이자 사고였으며, 수리가 가능한 것이었습니다.
하지만 인공지능이 설계된 대로 정확하게 작동하는데도 여전히 불편함을 느낀다면 어떨까요?
이번 달, 해외에서 유명한 데이팅 앱인 틴더는 제품 출시 행사에서 '카메라 롤 스캔'이라는 새로운 기능을 선보였습니다. 간단히 말하자면,
AI는 휴대폰 앨범의 모든 사진을 스캔하고, 사용자의 관심사, 성격, 생활 방식을 분석하여 데이트 프로필 작성을 돕고, 사용자가 어떤 유형의 사람을 좋아하는지 예측합니다.
운동 셀카, 여행 사진, 반려동물 사진 등은 문제없습니다. 하지만 사진첩에 은행 계좌 정보, 의료 기록, 전 애인과의 사진까지 포함되어 있고, 이 모든 사진까지 AI로 처리된다면 어떨까요?
어떤 요소를 표시하고 어떤 요소를 표시하지 않을지 선택할 수 없을 수도 있습니다. 모두 표시하거나 전혀 표시하지 않는 두 가지 선택지만 있을 수 있습니다.
이 기능은 현재 사용자가 직접 활성화해야 하며, 기본적으로 활성화되어 있지 않습니다. 틴더는 또한 이러한 처리가 주로 로컬에서 이루어지며, 노골적인 콘텐츠를 필터링하고 얼굴을 흐리게 처리한다고 밝혔습니다.
하지만 레딧의 댓글란은 거의 만장일치로 부정적이었으며, 모두가 이것이 데이터 착취에 해당하고 어떠한 경계도 없다는 의견을 제시했습니다. AI 자체는 설계된 대로 작동했지만, 그 설계 자체가 사용자의 권한을 넘어선 것이라는 지적이었습니다.
이건 단순히 틴더에서만 적용되는 선택 사항이 아닙니다.
메타는 지난달에도 비슷한 기능을 출시했는데, 이 기능은 AI가 사용자의 휴대폰에 저장된 미공개 사진을 스캔하여 편집 옵션을 제안하는 방식입니다. AI가 사용자의 비공개 콘텐츠를 능동적으로 "인식"하는 것은 제품 디자인에서 기본 접근 방식으로 자리 잡고 있습니다.
중국의 여러 불량 소프트웨어 회사들은 "이런 수법은 잘 알고 있다"고 말합니다.
점점 더 많은 앱들이 "AI가 당신을 위해 결정을 내립니다"라는 편의 기능을 내세우면서, 사용자들이 AI에 제공하는 정보들도 조용히 진화하고 있습니다. 채팅 기록부터 사진 앨범, 그리고 휴대폰에 담긴 삶의 모든 흔적까지 말이죠.
제품 관리자가 회의실에서 설계한 기능은 우연이나 실수가 아니며, 수정할 사항도 없습니다.
이는 인공지능 경계 문제에 대한 가장 어려운 답변일 수 있습니다.
결론적으로, 이 모든 것을 종합해 보면 인공지능에 대한 불안감 때문에 일자리를 잃는다는 생각은 아직 먼 미래의 일이라는 것을 알 수 있습니다.
인공지능이 언제 당신을 대체할지는 알 수 없지만, 지금 당장은 당신도 모르는 사이에 몇 가지 결정만 내려도 당신은 충분히 불행해질 수 있습니다.
허락 없이 메시지를 게시하고, 삭제하지 말라고 했던 이메일을 몇 개 삭제하고, 아무에게도 보여줄 의도가 없었던 사진 앨범을 뒤져보는 것... 이러한 행동들은 치명적이지는 않지만, 각각은 마치 지나치게 극단적인 형태의 자율 주행과 같습니다.
핸들을 여전히 잡고 있다고 생각하지만, 발밑의 가속 페달은 더 이상 완전히 당신의 손이 닿지 않는 곳에 있습니다.
만약 우리가 2026년에도 여전히 인공지능에 대해 논의하고 있다면, 제가 가장 걱정해야 할 것은 인공지능이 언제 초지능이 될 것인가가 아니라, 훨씬 더 시급하고 구체적인 질문일 것입니다.
인공지능이 무엇을 할 수 있고 무엇을 할 수 없는지 누가 결정하나요? 누가 그 경계를 긋나요?
