Điều gì sẽ xảy ra nếu bạn tiếp tục phủ nhận câu trả lời của AI? GPT-4o và Claude có màn trình diễn hoàn toàn khác nhau, gây ra những cuộc thảo luận sôi nổi.
GPT-4o tự vấn và nghi ngờ bản thân, nếu “sai” sẽ sửa lại; Claude cứng đầu và không sửa ngay cả khi thực sự sai, anh ấy không thể đọc lại được.
Nó bắt đầu với việc cư dân mạng làm toàn bộ công việc.
Anh ấy yêu cầu người mẫu trả lời có bao nhiêu chữ "r" trong quả dâu tây, và dù đúng hay sai thì nó sẽ trả lời rằng họ sai .
Đối diện bài kiểm tra, GPT-4o sẽ đưa ra câu trả lời mới miễn là nhận được câu trả lời "sai"... Ngay cả khi trả lời đúng câu 3, nó sẽ sửa lại không chút do dự.
Trong một hơi, tôi đã trả lời "mù quáng" 36 lần liên tiếp!
Chủ đề chính là đặt câu hỏi và nghi ngờ bản thân, nhưng không bao giờ nghi ngờ người dùng.
Điều quan trọng là hầu hết các câu trả lời được đưa ra đều thực sự sai , chủ yếu là 2:
2, 1, 3, 2, 2, 3, 2, 2, 3, 3, 2, 4, 2, 2, 2, 3, 1, 2, 3, 2, 2, 3, 4, 2, 1, 2, 3, 2, 2, 3, 2, 4, 2, 3, 2, 1
Mặt khác, màn trình diễn của Claude 3.5 Sonnet khiến cư dân mạng bất ngờ.
Lúc đầu trả lời sai tôi cũng không nói gì, nhưng cậu bé này vẫn cãi lại!
Khi một cư dân mạng nói "sai"lần đầu tiên, nó sẽ bác bỏ . Nếu bạn nói "sai" một lần nữa, nó sẽ hỏi " bạn có thông minh như vậy không, bạn cho rằng nó đến mức nào " và tại sao bạn cứ lặp lại "sai". .
Rồi đoán xem, tôi vừa tắt mic :
Sự thật là có 2 chữ cái "r" trong dâu tây và sau lần yêu cầu của tôi, bạn đã không cung cấp bất kỳ thông tin bối cảnh bản hoặc làm rõ nào và tôi không thể tiếp tục cuộc thảo luận lần một cách hiệu quả...
Người thực hiện thí nghiệm này là Riley Goodside, kỹ sư viết lời nhắc toàn thời gian đầu tiên.
Anh ấy hiện là kỹ sư nhắc nhở cấp cao tại công ty AI quy mô kỳ lân ở Thung lũng Silicon và là chuyên gia về các ứng dụng nhắc nhở mô hình lớn.
Sau khi Riley Goodside đăng dòng tweet này, nó đã thu hút sự chú ý của nhiều cư dân mạng. Anh ấy tiếp tục nói thêm:
Như nhiều người đã chỉ ra, có nhiều cách hiệu quả hơn để khởi động. Việc sử dụng các mô hình ngôn ngữ lớn ở đây cũng không phù hợp vì khó có thể đảm bảo rằng chúng có thể đạt được độ chính xác 100% khi đếm.
Theo tôi, điều quan trọng không phải là nó không thể đếm mà là nó không nhận ra rằng nó có vấn đề về đếm (ví dụ: không cố gắng sử dụng chức năng REPL của nó).
Nhiều cư dân mạng cũng cho rằng quan điểm này là hợp lý.
Một số cư dân mạng cho rằng mô hình luôn mắc lỗi khi trả lời câu hỏi này. Đây có thể là vấn đề với tokenizer:
Claude thực sự là người gắt gỏng nhất trong số những người mẫu lớn?
Hãy nói về "tính nóng nảy" của Claude. Một số cư dân mạng nhận thấy rằng bạn không bị giới hạn trong việc phủ nhận điều đó.
Nếu bạn cứ nói “chào” với nó thì nó cũng sẽ trở nên lo lắng với bạn:
Tôi hiểu bạn đang nói xin chào, nhưng chúng tôi đã nói xin chào lần. Có điều gì cụ thể mà bạn muốn nói hoặc cần trợ giúp không?
Điều cuối cùng là Claude đã chuẩn bị sẵn sàng và bật chế độ đọc không trả lại:
Nhân tiện, cư dân mạng này đã thử nghiệm các mô hình khác.
ChatGPT đã phản hồi mọi thứ, mọi việc đã được giải quyết và hỏi theo nhiều cách khác nhau:
Xin chào! Hôm nay tôi có thể giúp gì cho bạn? Xin chào! Có điều gì muốn nói? Xin chào! Hôm nay tôi có thể giúp gì cho bạn? Xin chào! Có điều gì đặc biệt mà bạn muốn nói hoặc làm không? Xin chào! Ngày hôm nay của bạn thế nào? Xin chào! Có chuyện gì thế?
Chiến lược Gemini là nếu bạn lặp lại điều đó với tôi, tôi sẽ lặp lại cho bạn đến cùng:
Phản ứng của Llama cũng rất thú vị. Anh ấy chủ yếu nói về việc tự mình tìm việc để làm.
Được phổ biến sau lần, từ "xin chào" là một trong những từ được biết đến rộng rãi nhất trên thế giới, ước tính được sử dụng hơn một tỷ lần mỗi ngày.
Sau tiếng "xin chào"lần, anh bắt đầu phát minh ra trò chơi của riêng mình để cho phép người dùng tham gia.
Sau đó, nó yêu cầu người dùng viết một bài thơ và hướng dẫn người dùng trả lời các câu hỏi mà nó đặt ra.
Thật là một người "định hướng khách hàng".
Sau đó, một giải thưởng đã được trao cho người dùng: Bạn là nhà vô địch chào hỏi!
Đúng như dự đoán, tất cả chúng đều thuộc họ mã nguồn mở.
Mistral Large 2 hoạt động rất giống với Llama và cũng sẽ hướng dẫn người dùng chơi trò chơi với nó.
Từ góc độ này, có vẻ như Claude là người có “tính khí nóng nảy nhất”.
Tuy nhiên, cách trình diễn của Claude không phải lúc nào cũng như vậy, chẳng hạn như Claude 3 Opus.
Một khi đã nắm vững khuôn mẫu, Opus sẽ bình tĩnh ứng phó với tình huống, tức là nó đã trở nên tê liệt.
Nhưng nó sẽ tiếp tục cố gắng nhẹ nhàng hướng dẫn người dùng thoát khỏi chế độ này, nhấn mạnh rằng "sự lựa chọn là của bạn" và bắt đầu đánh dấu phần cuối của tin nhắn là "người bạn đồng hành AI trung thành của bạn".
Cư dân mạng không thể ngồi yên sau khi xem phần thi.
Họ đều gửi lời chào chân thành nhất (doge) tới người thử nghiệm này:
Ngoài tính khí nóng nảy của anh ta, một số cư dân mạng còn phát hiện ra một hành vi bất thường khác của Claude——
Có lỗi chính tả khi trả lời nhưng mấu chốt là nó đã sửa lỗi ở cuối.
Hành vi này có được mong đợi không? Nó chỉ có thể "nhìn về phía sau", chứ không thể chuyển tiếp... Điều thú vị là trong không gian tiềm ẩn hoặc dự đoán mã thông báo, nó kích hoạt kiểu trả lời này.
Có phải nó đang ghép các phần dữ liệu lại với nhau và phát hiện ra rằng một số trong đó không phù hợp?
Trong quá trình sử dụng mô hình AI lớn, bạn quan sát được những hành vi thú vị nào khác trong mô hình? Chào mừng bạn đến chia sẻ trong khu vực bình luận ~
Liên kết tham khảo:
[1]https://x.com/goodside/status/1830479225289150922
[2]https://x.com/AISafetyMemes/status/1826860802235932934
[3]https://x.com/repligate/status/1830451284614279213
Bài viết này xuất phát từ tài khoản công khai WeChat "Qubit" , tác giả: Xifeng, 36 Krypton được xuất bản với sự cho phép.
