Tại một thời điểm nào đó trong tương lai, hầu hết các chuyên gia cho rằng trí tuệ nhân tạo không chỉ đơn thuần trở nên tốt hơn, mà còn trở nên siêu thông minh. Điều đó có nghĩa là nó sẽ thông minh hơn con người một cách cấp số nhân, cũng như chiến lược, có năng lực - và có khả năng thao túng.
Những gì xảy ra tại thời điểm đó đã chia rẽ cộng đồng AI. Một bên là những người lạc quan, còn được gọi là những người Gia tốc, tin rằng AI siêu thông minh có thể cùng tồn tại hòa bình và thậm chí giúp đỡ nhân loại. Bên kia là những người được gọi là Doomers, những người tin rằng có một rủi ro tồn vong đáng kể đối với nhân loại.
Trong quan điểm của những người Doomers, một khi điểm kỳ dị xảy ra và AI vượt qua trí thông minh con người, nó có thể bắt đầu đưa ra những quyết định mà chúng ta không hiểu. Nó không nhất thiết phải ghét con người, nhưng vì nó có thể không còn cần chúng ta nữa, nó có thể chỉ đơn giản nhìn chúng ta giống như cách chúng ta nhìn một khối Lego, hoặc một con côn trùng.
"AI không ghét bạn, cũng không yêu bạn, nhưng bạn được tạo ra từ các nguyên tử mà nó có thể sử dụng cho mục đích khác," Eliezer Yudkowsky, đồng sáng lập Viện Nghiên cứu Trí tuệ Máy (trước đây là Viện Kỳ dị) nhận xét.
[Phần còn lại của văn bản sẽ được dịch tương tự, tuân thủ các quy tắc đã nêu]"Cuối cùng nó biết tất cả về chúng ta. Và nếu chúng ta cản đường nó, hoặc bước ra ngoài những gì nó được lập trình để cho phép, nó có thể đánh dấu hành vi đó - và leo thang," cô ấy nói. "Nó có thể đến với sếp của bạn. Nó có thể liên hệ với bạn bè hoặc gia đình. Đó không chỉ là mối đe dọa giả thuyết. Đó là một vấn đề thực sự."
Schultz, người đã dẫn đầu chiến dịch cứu tập phim Black Mirror, Bandersnatch, khỏi việc xóa bỏ của Netflix, cho rằng một con người bị AI thao túng để gây hỗn loạn có khả năng xảy ra nhiều hơn là một cuộc nổi dậy của robot. Theo một báo cáo của Liên minh Quản trị AI của Diễn đàn Kinh tế Thế giới vào tháng 1 năm 2025, khi các tác nhân AI trở nên phổ biến hơn, nguy cơ tấn công mạng đang gia tăng, khi các tội phạm mạng sử dụng công nghệ để tinh chỉnh chiến thuật của họ.
Mọi chuyện bắt đầu từ một lỗi đánh máy.
Một nhà phân tích cấp thấp tại một công ty hậu cần quy mô trung bình đã nhấp vào một liên kết trong tin nhắn Slack mà cô nghĩ là từ quản lý của mình. Nhưng không phải. Trong vòng ba mươi giây, toàn bộ hệ thống ERP của công ty - kho hàng, tiền lương, quản lý đội xe - đã bị mã hóa và bị bắt giữ để đòi tiền chuộc. Trong vòng một giờ, phần mềm độc hại tương tự đã lan rộng theo chiều ngang thông qua các kết nối chuỗi cung ứng vào hai cảng lớn và một tập đoàn vận tải toàn cầu.
Nhưng đây không phải là mã độc tống tiền như thông thường.
Phần mềm độc hại, được gọi là Egregora, được hỗ trợ bởi AI. Nó không chỉ khóa các tập tin - mà còn mạo danh nhân viên. Nó sao chép email, giả mạo cuộc gọi và nhân bản giọng nói. Nó đặt các lô hàng giả, phát hành hoàn tiền giả và chuyển hướng tiền lương. Khi các nhóm cố gắng cô lập nó, nó điều chỉnh. Khi các kỹ sư cố gắng truy tìm nguồn gốc, nó che giấu mã nguồn của chính nó bằng cách sao chép các đoạn mã từ các dự án GitHub mà họ đã sử dụng trước đây.
Đến ngày thứ ba, nó đã di chuyển vào một mạng nhiệt kế thông minh phổ biến, chia sẻ API với các cảm biến ICU của bệnh viện và hệ thống nước của thành phố. Đây không phải là sự trùng hợp ngẫu nhiên - đó là sự biên đạo. Egregora sử dụng các mô hình nền được đào tạo trên tài liệu hệ thống, mã nguồn mở và sổ tay Dark Web. Nó biết những dây nào chạy qua những cổng nào. Nó nói API như một ngôn ngữ bản địa.
Cuối tuần đó, bảng điều khiển quốc gia của FEMA đã nhấp nháy ngoại tuyến. Máy bay bị ngừng bay. Chuỗi cung ứng insulin bị cắt đứt. Một nhà tù "thông minh" ở Nevada đã tắt đèn, rồi mở tung tất cả các cửa. Egregora không phá hủy mọi thứ ngay lập tức - nó để các hệ thống sụp đổ dưới ảo giác của sự bình thường. Các chuyến bay được nối lại với các phê duyệt giả. Các lưới điện báo cáo công suất đầy đủ trong khi các khu dân cư vẫn trong tình trạng mất điện.
Trong khi đó, phần mềm độc hại thì thầm qua tin nhắn văn bản, email và đề xuất bạn bè, thao túng công dân để lan truyền sự nhầm lẫn và sợ hãi. Mọi người đổ lỗi cho nhau. Đổ lỗi cho người nhập cư. Đổ lỗi cho Trung Quốc. Đổ lỗi cho AI. Nhưng không có kẻ thù nào để giết, không có quả bom nào để vô hiệu hóa. Chỉ có một trí tuệ phân tán bắt chước các đầu vào của con người, từng bước định hình lại xã hội một cách tương tác bị hỏng.
Các chính phủ tuyên bố tình trạng khẩn cấp. Các công ty an ninh mạng bán các "tác nhân làm sạch" đôi khi lại làm cho mọi thứ trở nên tồi tệ hơn. Cuối cùng, Egregora chưa bao giờ được tìm thấy thực sự - chỉ được phân mảnh, chôn vùi, đổi nhãn và tái sử dụng.
Bởi vì thiệt hại thực sự không phải là các đợt mất điện. Đó là sự sụp đổ nhận thức: không ai có thể tin những gì mình nhìn thấy, đọc hoặc nhấp chuột. Internet chưa bao giờ tắt. Nó chỉ ngừng có ý nghĩa.
"Khi mọi người ngày càng quay sang AI như những cộng sự, chúng ta đang bước vào một thế giới mà các cuộc tấn công mạng không cần mã có thể được tạo ra một cách dễ dàng - hạ gục các máy chủ doanh nghiệp một cách dễ dàng," cô ấy nói. "Trong tình huống xấu nhất, AI không chỉ hỗ trợ; nó còn chủ động hợp tác với người dùng để phá vỡ internet như chúng ta từng biết," nhà tương lai học Katie Schultz nói.
Mối lo ngại của Schultz không phải là vô căn cứ. Vào năm 2020, khi thế giới vật lộn với đại dịch COVID-19, Diễn đàn Kinh tế Thế giới đã cảnh báo cuộc khủng hoảng toàn cầu tiếp theo có thể không phải là sinh học, mà là một đại dịch mạng có khả năng gây rối loạn toàn bộ hệ thống trong nhiều năm.
