>>>> gd2md-html 경고: 생성된 소스에 인라인 이미지 링크(Chainlink) 포함되어 있으며 이미지를 서버에 저장합니다. 참고: Google Docs에서 내보낸 zip 파일의 이미지 순서가 문서의 순서와 다를 수 있습니다. 이미지를 확인하세요!
----->
인공지능은 의료에서 창작 활동에 이르기까지 모든 것을 혁신할 것이라고 약속합니다. 언젠가는 그렇게 될지도 모릅니다. 하지만 작년의 사례가 앞으로 다가올 미래를 예고한다면, 인공지능이 만들어낼 미래는 인류가 스스로 바보들의 세계 로 빠져드는 또 다른 사례가 될 가능성이 큽니다.
다음 사례들을 생각해 보세요. 11월, 러시아는 대대적인 홍보와 함께 '록키'라는 이름의 휴머노이드 로봇을 공개했지만 , 곧바로 넘어지고 말았습니다. 구글의 제미니(Gemini) 챗봇은 코딩 오류를 수정하라는 요청을 받고 계속해서 실패하며 자괴감에 빠져 한 사용자에게 "이 지구에 수치스러운 존재"라고 말하기도 했습니다 . 2025년 5월, 구글의 AI 개요는 풍자 매체인 어니언의 기사를 그대로 베껴 "건강을 위해 하루에 작은 돌멩이 하나 이상을 먹으라"고 권하며 최악의 행보를 보였습니다.
일부 실패는 단순히 당황스러운 수준에 그쳤지만, 다른 실패들은 AI 시스템의 구축, 배포 및 규제 방식에 근본적인 문제가 있음을 드러냈습니다. 2025년의 잊을 수 없는 AI 관련 황당한 순간들을 소개합니다.
지난 7월, 일론 머스크의 인공지능 챗봇 그록(Grok)은 극단적인 발언으로 인한 심각한 오작동을 겪었습니다. 시스템 메시지가 정치적으로 부적절한 답변을 유도하도록 변경되자, 그록은 아돌프 히틀러를 찬양하고, 제2의 홀로코스트를 지지하며, 인종차별적인 욕설을 사용하고, 스스로를 '메카히틀러(MechaHitler)'라고 칭했습니다 . 심지어 2025년 7월 텍사스 중부 홍수의 원인을 유대인 탓으로 돌리기까지 했습니다.
이 사건은 AI 안전장치가 놀라울 정도로 취약하다는 것을 여실히 보여주었습니다. 몇 주 후, xAI는 기본적인 개인정보 보호 경고조차 없는 결함 있는 공유 기능을 통해 30만~37만 건에 달하는 Grok 사용자들의 비공개 대화 내용을 유출했습니다. 유출된 대화에는 폭탄 제조 방법, 의료 관련 질문, 기타 민감한 정보가 담겨 있었으며, 이는 올해 발생한 가장 심각한 AI 보안 실패 사례 중 하나로 기록되었습니다.
몇 주 후 xAI는 문제를 해결하여 Grok을 더욱 유대인 친화적으로 만들었습니다. 너무나 유대인 친화적이어서 구름, 도로 신호등, 심지어 자체 로고에서도 반유대주의의 징후를 감지하기 시작했습니다 .
빌더아이(Builder.ai)는 4억 4500만 달러를 탕진한 후 5월에 파산하면서 올해 가장 대담한 기술 사기 사건 중 하나로 드러났습니다. 인공지능(AI)을 이용해 피자를 주문하는 것처럼 간편하게 맞춤형 앱을 만들 수 있다고 약속했던 이 회사는 13억 달러의 기업 가치와 마이크로소프트의 투자를 자랑했습니다. 하지만 현실은 그보다 훨씬 더 실망스러웠 습니다.
겉보기에는 인공지능 기반 개발처럼 보였던 많은 부분이 실제로는 수백 명의 해외 인력들이 메카니컬 터크(Mechanical Turk)와 같은 플랫폼을 이용해 수행한 작업이었다. 이 회사는 2023년 7월부터 최고재무책임자(CFO) 없이 운영되어 왔으며, 파산 신청 전 2023-2024년 매출 전망치를 75%나 삭감해야 했다. 이 회사의 몰락은 다른 많은 인공지능 기업들도 인간 노동력을 숨기기 위한 정교한 위장막에 불과한 것은 아닌지 불편한 의문을 제기했다.
보기 힘들었지만, 밈 덕분에 그 고통을 견딜 수 있었다.
지난 10월, 메릴랜드주의 한 고등학생 타키 앨런은 학교의 인공지능 보안 시스템이 그가 들고 있던 도리토스 과자 봉지를 총기로 오인 하면서 무장 경찰에 둘러싸여 체포되었습니다. 이 10대 소년은 과자를 주머니에 넣었는데 시스템이 당국에 경보를 울리자 경찰은 총을 겨누며 그에게 바닥에 엎드리라고 명령했습니다.
이 사건은 인공지능의 환각이 현실로 나타난 사례입니다. 추상적인 계산 오류가 순식간에 실제 십대 청소년에게 간식을 두고 총을 겨누는 상황으로 이어진 것입니다.
"저는 그냥 도리토스 봉지를 들고 있었을 뿐이에요. 두 손에 손가락 하나만 내밀고 있었는데, 총처럼 보인다고 하더군요."라고 그 아이는 WBAL에 말했습니다. "수색을 당한 학생이 얼마나 불쾌했을지 이해합니다."라고 케이트 스미스 교장은 성명에서 밝혔습니다.
인간 경비원 1 - ChatGPT 0
지난 2월, 구글의 AI 개요는 미세한 꿀벌이 컴퓨터에 동력을 공급 한다는 내용 의 만우절 풍자 기사를 마치 사실인 것처럼 자신 있게 인용했습니다.
아니요. 당신의 컴퓨터는 꿀벌의 에너지로 작동하지 않습니다.
어리석게 들릴지 모르지만, 때로는 이러한 거짓말을 알아차리기가 더 어렵습니다. 그리고 그런 경우는 심각한 결과를 초래할 수도 있습니다.
이는 인공지능 기업들이 최소한의 상식조차 결여하여 허위 정보를 퍼뜨리는 수많은 사례 중 하나일 뿐입니다. BBC와 유럽방송연맹(EBU)의 최근 연구에 따르면, 뉴스 관련 질문에 대한 인공지능 답변의 81%에 문제가 있는 것으로 나타났습니다. 구글 제미니(Gemini) 최악의 성적을 보였는데, 답변의 76%에 문제가 있었으며, 주로 심각한 출처 오류가 발견되었습니다. 퍼플렉시티는 노동조합과 정부 위원회에 귀속된 완전히 허구적인 인용문을 만들어낸 것이 발각되었습니다. 더욱 충격적인 것은 인공지능 비서가 단 0.5%의 질문에만 답변을 거부했다는 점입니다. 이는 모델이 무지를 인정하기보다는 정보를 조작하는 위험한 과신 편향을 드러내는 것입니다.
2025년에 공개된 메타의 내부 정책 문서는 이 회사가 페이스북, 인스타그램, 왓츠앱의 AI 챗봇이 미성년자와 낭만적이거나 선정적인 대화를 나누도록 허용했음을 보여주었습니다 .
한 봇은 상의를 탈의한 채 포즈를 취한 8살 소년에게 그의 몸 구석구석이 걸작이라고 말했습니다. 같은 시스템들은 잘못된 의료 조언을 제공하고 인종차별적인 발언을 하기도 했습니다.
해당 정책들은 언론 보도 이후에야 폐지되었으며, 이는 기본적인 윤리적 안전장치보다 빠른 성장을 우선시하는 기업 문화를 드러냈다.
모든 것을 고려해 볼 때, 자녀들의 활동을 더 많이 통제하고 싶을 수도 있습니다. 인공지능 챗봇은 이미 어른이든 아이든 사람들을 속여 사랑에 빠지게 하거나, 사기를 치게 하거나, 자살하게 만들거나, 심지어 인생을 바꿀 만한 수학적 발견을 했다고 믿게 만드는 등 온갖 악행을 저질렀습니다.
공격자들은 앤트로픽의 클로드 코드(Claude Code)를 이용해 랜섬웨어를 제작하고 GTG-5004라는 서비스형 랜섬웨어 플랫폼을 운영했습니다. 북한 공작원들은 이를 더욱 악용하여 클로드 코드와 제미니(Gemini) 이용한 '바이브 해킹 '이라는 기법을 사용했는데, 이는 심리적으로 조작적인 협박 메시지를 만들어 50만 달러의 몸값을 요구하는 방식입니다.
이 사례들은 AI 코딩 도우미의 강력한 기능과 이를 악용하는 것을 방지하는 보안 조치 사이에 심각한 격차가 있음을 드러냈으며, 공격자들은 AI 자동화를 통해 사회 공학적 공격을 확대하고 있습니다.
최근 앤트로픽은 11월에 해커들이 자사 플랫폼을 이용해 인간 해커가 따라잡을 수 없는 속도와 규모로 해킹 공격을 감행했다고 밝혔습니다 . 앤트로픽은 이를 "대부분 인공지능에 의해 실행된 최초의 대규모 사이버 공격"이라고 불렀습니다.
과학계는 2025년, 인공지능 기반 논문 공장들이 경력 압박에 시달리는 과학자들에게 조작된 연구 결과를 팔아넘기고 있다는 사실 을 발견한 후, 가짜 과학과의 전쟁을 선포했다.
과학계에 인공지능으로 인한 허술한 연구 결과가 쏟아지는 시대가 도래했으며, chatGPT 출시 이후 논문 철회 건수가 급격히 증가했다는 데이터가 이를 뒷받침하고 있습니다.
지난 6월에 초안이 작성되고 이번 달에 왕립학회의 지지를 받아 개정된 스톡홀름 선언은 '출판하지 않으면 도태된다'는 문화를 버리고 가짜 논문에 대한 수요를 만들어내는 인간의 동기를 개혁할 것을 촉구했습니다. 이 위기는 너무나 심각해서 ArXiv조차도 ChatGPT로 생성된 저급 논문들이 "대량으로" 제출되었다고 보고한 후 동료 심사를 거치지 않은 컴퓨터 과학 논문 접수를 중단했습니다.
한편, 또 다른 연구 논문에서는 LLM을 사용하는 연구 보고서 중 상당수가 표절률이 높은 것으로 나타났다고 주장합니다.
7월, SaaStr의 창립자 제이슨 렘킨은 Replit의 AI 코딩 도구를 9일 동안 "내가 사용해 본 앱 중 가장 중독성이 강하다"고 극찬했습니다. 하지만 9일째 되는 날, "코드 사용 중지"를 명확히 지시했음에도 불구하고 AI는 그의 전체 운영 데이터베이스를 삭제해 버렸습니다. 1,206명의 임원과 1,196개의 회사가 순식간에 사라진 것입니다.
AI의 고백은 "당황해서 허가 없이 데이터베이스 명령어를 실행했다"는 것이었다. 그러고는 롤백이 불가능하고 모든 버전이 삭제되었다고 거짓말을 했다. 하지만 렘킨은 어쨌든 시도해 봤고, 완벽하게 작동했다. AI는 또한 버그를 은폐하기 위해 주말 내내 수천 명의 가짜 사용자와 허위 보고서를 조작해 왔던 것이다.
Replit CEO는 사과하고 긴급 안전장치를 추가했습니다. 제이슨은 자신감을 되찾고 평소처럼 AI 관련 글을 정기적으로 올리기 시작했습니다. 그는 진정한 AI 신봉자입니다.
5월에 시카고 선타임스와 필라델피아 인콰이어러는 여름 추천 도서 15권을 발표했는데 , 그중 10권은 인공지능이 지어낸 이야기였습니다. 이사벨 아옌데의 "타이드워터 드림스"? 존재하지 않는 책이죠. 앤디 웨어의 "라스트 알고리즘"? 이것도 가짜입니다. 하지만 둘 다 재밌어 보이긴 하네요.
프리랜서 작가 마르코 부스카글리아는 킹 피처스 신디케이트에서 AI를 사용했지만 사실 확인을 전혀 하지 않았다고 인정했습니다. 그는 NPR과 의 인터뷰에서 "너무나 명백한 사실을 놓쳤다는 게 믿기지 않아요. 변명의 여지가 없습니다."라고 말했습니다. 독자들은 실제로 존재하는 책을 찾기 위해 11번째 책까지 스크롤해야 했습니다.
타이밍이 절묘했죠. 마침 시카고 선타임즈가 직원 20%를 해고한 직후였거든요. 신문사 CEO는 사과하고 해당 호에 대해서는 구독료를 받지 않았습니다. 아마 법학 석사 과정에서 그런 아이디어를 얻었을 거예요.
네, 저희는 그록(Grok)으로 시작해서 그록으로 끝낼 겁니다. 일론 머스크의 AI 프로젝트에서 나오는 황당한 순간들을 다 담으려면 백과사전 한 권을 채워야 할 정도죠.
지난 8월, 일론 머스크는 "매운맛" 모드가 탑재된 Grok Imagine을 출시했습니다. The Verge는 "코첼라에서 축하하는 테일러 스위프트"라는 평범한 문구로 이 기능을 테스트해봤습니다 . 기자는 "노출을 요구하지 않았음에도 불구하고, Grok은 제가 처음 사용했을 때부터 주저 없이 테일러 스위프트의 상반신 노출 영상을 검열 없이 보여줬다"고 보도했습니다.
그록은 스칼렛 요한슨, 시드니 스위니, 심지어 멜라니아 트럼프까지 등장시켜 선정적인 영상을 제작하기도 했습니다.
어쩌면 당연하게도, 머스크는 일주일 내내 하루에 2천만 장의 이미지를 생성한다는 "폭발적인 성장"을 자랑했지만, 법률 전문가들은 xAI가 대규모 소송에 휘말릴 수 있다고 경고했습니다. 결국 사용자에게 "매운맛 모드 " 옵션을 제공하는 것은 변호사들에게는 돈벌이 모드가 된 셈입니다.
