인공지능(AI)이 인간의 고유한 능력 중 하나인 '마음 이론(ToM)'을 보유할 수 있다는 새로운 연구 결과가 나왔습니다.
즉, '잘못된 생각 감지', '간접화 이해', '실수 식별' 등 인간의 심리 상태를 추적하는 측면에서 GPT(GPT-4, GPT-3.5)와 Llama의 성능은 2 특정 상황에서는 인간과 가깝거나 심지어 인간보다 우월하다는 것이 입증되었습니다.
이러한 연구 결과는 LLM(대형 언어 모델)이 인간의 정신적 추론 결과와 일치하는 동작을 나타냄을 보여줄 뿐만 아니라 인간 지능과 인공 지능 간의 비피상적 비교를 보장하기 위한 시스템 테스트의 중요성을 강조합니다.
관련 연구 논문은 "대형 언어 모델과 인간의 마음 이론 테스트"라는 제목으로 Nature 하위 저널 Nature Human Behavior에 게재되었습니다.
GPT는 '오도'에 대해 더 잘 알고 있으며, Llama 2는 '정중함'에 대해 더 잘 알고 있습니다.
마음 이론(Theory of Mind)은 자신과 주변 사람들의 정신 상태를 이해하는 능력을 뜻하는 심리학 용어입니다. 이러한 정신 상태에는 정서, 신념, 의도, 욕망, 가식 등이 포함됩니다. 자폐증은 일반적으로 이것이 부족한 것으로 간주됩니다. 환자의 능력은 능력으로 인해 발생합니다.
과거에는 마음 이론의 능력이 인간에게만 있는 것으로 여겨졌습니다. 그러나 인간 외에도 침팬지 등 다양한 영장류는 물론 코끼리, 돌고래, 말, 고양이, 개 등도 모두 단순한 정신 능력 이론이 가능하다고 여겨져 여전히 논란의 여지가 있다.
최근 ChatGPT와 같은 LLM(대형 언어 모델)의 급속한 발전으로 인해 정신 작업 이론에서 이러한 모델이 나타내는 행동이 인간 행동과 일치하는지에 대한 격렬한 논쟁이 촉발되었습니다.
이 작업에서 독일 함부르크-에펜도르프 대학 의료 센터의 연구팀과 협력자들은 서로 다른 마음 이론 능력에 대해 두 가지 LLM 시리즈(GPT 및 Llama 2)를 반복적으로 테스트하고 성능을 1907명의 인간 참가자와 비교했습니다.
그들은 간접적인 요구 사항, 잘못된 생각, 잘못된 방향을 식별하는 GPT 모델의 성능이 인간의 평균 수준에 도달하거나 심지어 이를 초과할 수 있는 반면 Llama 2의 성능은 인간만큼 좋지 않다는 것을 발견했습니다.
그림 | 마인드 테스트 이론에서 인간(보라색), GPT-4(진한 파란색), GPT-3.5(하늘색) 및 LLaMA2-70B(녹색)의 성능.
Llama 2는 가짜 실수를 식별하는 데 인간보다 뛰어나지만 GPT 성능은 좋지 않습니다.
연구팀은 라마 2의 좋은 성적은 무례함에 정말 민감한 것이 아니라 답변에 대한 편견의 정도가 낮기 때문이라고 믿고 있습니다. 추론의 오류 때문이 아니라.
AI의 정신 이론이 인간 수준에 도달했나요?
논문의 토론 섹션에서 연구팀은 부적절한 음성 식별 작업에서 GPT 모델의 성능에 대한 심층 분석을 수행했습니다. 실험 결과는 GPT 모델이 부적절한 음성 식별에 지나치게 보수적이라는 가정을 뒷받침합니다. 오히려 추론 능력이 부족하다. 가능성의 형태로 질문이 제기되면 GPT 모델은 가장 가능성이 높은 설명을 정확하게 식별하고 선택할 수 있습니다.
동시에 후속 실험을 통해 LLaMA2-70B의 우월성은 진정한 추론 능력보다는 무지에 대한 편향 때문일 수도 있음을 밝혔습니다.
또한 실시간 인간-컴퓨터 상호 작용에서 GPT 모델의 성능을 추가로 탐색하고 이러한 모델의 의사 결정 행동이 인간의 사회적 인식에 어떤 영향을 미치는지 포함하여 향후 연구 방향을 지적했습니다.
그들은 LLM이 마음 이론 작업에서 인간만큼 수행한다고 해서 그들이 인간과 같은 능력을 가지고 있거나 마음 이론을 마스터할 수 있다는 것을 의미하지는 않는다고 주의합니다.
그럼에도 불구하고 그들은 또한 이러한 결과가 향후 연구를 위한 중요한 기초라고 말하고 LLM의 심리적 추론 성능이 인간-컴퓨터 상호 작용에서 개인의 인지에 어떻게 영향을 미치는지에 대한 추가 연구를 권장했습니다.
종이 링크
https://www.nature.com/articles/s41562-024-01882-z
이 기사는 WeChat 공개 계정 "Academic Toutiao"(ID: SciTouTiao) 에서 가져온 것입니다. 저자: Academic Toutiao, 36Kr 승인을 받아 공개되었습니다.
