인공지능은 질병을 진단하고, 시를 쓰고, 심지어 자동차를 운전할 수 있지만, 여전히 "아니오"라는 간단한 단어에는 어려움을 겪고 있습니다. 이러한 맹점은 의료 분야와 같은 실제 응용 프로그램에서 심각한 결과를 초래할 수 있습니다.
MIT 박사 과정 학생 쿠마일 알하무드가 주도한 새로운 연구에 따르면, 디크립트(Decrypt)와 협력하여 오픈에이아이(OpenAI) 및 옥스퍼드 대학교와 공동 연구한 결과, "아니오"와 "아니다"를 이해하지 못하면 특히 의료 환경에서 심각한 결과를 초래할 수 있습니다.
부정(예: "골절 없음" 또는 "확대되지 않음")은 의료와 같은 고위험 환경에서 특히 중요한 언어적 기능입니다. 연구에 따르면 ChatGPT, 제미니(Gemini), 라마(Llama)와 같은 현재 인공지능 모델은 종종 부정적 진술을 올바르게 처리하지 못하고 대신 긍정적 연관성으로 기본 설정되는 경향이 있습니다.
핵심 문제는 단순히 데이터 부족이 아니라 인공지능이 훈련되는 방식입니다. 대부분의 대규모 언어 모델은 패턴을 인식하도록 구축되었으며, 논리적으로 추론하도록 설계되지 않았습니다. 이는 그들이 "좋지 않음"을 여전히 다소 긍정적인 것으로 해석할 수 있음을 의미합니다. 전문가들은 모델이 언어를 단순히 모방하는 것이 아니라 논리를 통해 추론하도록 교육받지 않으면 계속해서 미묘하지만 위험한 실수를 저지를 것이라고 주장합니다.
"인공지능은 훈련 중에 본 것과 유사한 응답을 생성하는 데 매우 능숙합니다. 하지만 훈련 데이터 외의 완전히 새로운 것을 고안해내는 데는 정말 서툽니다." 영지식 인프라 회사 라그랑주 랩스의 수석 연구 엔지니어 프랭클린 델레헬레는 디크립트(Decrypt)에 말했습니다. "따라서 훈련 데이터에 '아니오'라고 말하거나 부정적 감정을 표현하는 강력한 예시가 부족하다면, 모델은 그런 종류의 응답을 생성하는 데 어려움을 겪을 수 있습니다."
연구에서 연구자들은 이미지와 텍스트를 해석하도록 설계된 비전-언어 모델이 긍정적 진술에 대해 더 강한 편향을 보이며, 긍정적 및 부정적 캡션을 구별하는 데 자주 실패한다는 것을 발견했습니다.
"합성 부정 데이터를 통해 우리는 더 신뢰할 수 있는 모델을 향한 유망한 경로를 제시합니다." 연구자들은 말했습니다. "우리의 합성 데이터 접근 방식이 부정 이해를 개선하지만, 특히 미세한 부정 차이와 관련하여 여전히 과제가 남아 있습니다."
지속적인 발전에도 불구하고 많은 인공지능 시스템은 여전히 인간과 유사한 추론, 특히 개방형 문제나 더 깊은 이해 또는 "상식"이 필요한 상황을 다루는 데 어려움을 겪고 있습니다.
"모든 대규모 언어 모델, 즉 우리가 현재 인공지능이라고 부르는 것들은 부분적으로 초기 프롬프트의 영향을 받습니다. ChatGPT나 유사한 시스템과 상호작용할 때, 시스템은 단순히 사용자의 입력만 사용하는 것이 아닙니다. 회사에서 사전에 설정한 내부 또는 '사내' 프롬프트도 있으며, 이는 사용자가 제어할 수 없습니다." 델레헬레는 디크립트(Decrypt)에 말했습니다.
델레헬레는 인공지능의 핵심 한계 중 하나인 훈련 데이터에서 발견된 패턴에 대한 의존성을 강조했으며, 이는 응답 방식에 영향을 미치고 때로는 왜곡할 수 있습니다.
스탠퍼드 대학교의 딥러닝 겸임 교수이자 기술 인텔리전스 회사 워케라의 창립자인 키안 카탄포로시는 부정과 관련된 도전이 언어 모델 작동 방식의 근본적인 결함에서 비롯된다고 말했습니다.
"부정은 교묘하게 복잡합니다. '아니오'와 '아니다'와 같은 단어는 문장의 의미를 뒤집지만, 대부분의 언어 모델은 논리를 통해 추론하는 것이 아니라 패턴을 기반으로 그럴듯한 것을 예측합니다." 카탄포로시는 디크립트(Decrypt)에 말했습니다. "이로 인해 부정이 관련된 경우 요점을 놓치기 쉽습니다."
카탄포로시는 델레헬레와 마찬가지로 인공지능 모델이 훈련되는 방식이 핵심 문제라고 지적했습니다.
"이러한 모델은 연관성을 위해 훈련되었지, 추론을 위해 훈련되지 않았습니다. 따라서 '좋지 않음'이라고 말하면 여전히 '좋음'이라는 단어를 긍정적 감정과 강하게 연관시킵니다." 그는 설명했습니다. "인간과 달리 그들은 항상 그러한 연관성을 무시하지 않습니다."
카탄포로시는 부정을 정확하게 해석하지 못하는 능력이 단순한 기술적 결함이 아니라 심각한 실제 세계의 결과를 초래할 수 있다고 경고했습니다.
"부정을 이해하는 것은 이해의 기본입니다." 그는 말했습니다. "모델이 이를 안정적으로 파악하지 못하면 법률, 의료 또는 인사 애플리케이션과 같은 사용 사례에서 미묘하지만 중요한 오류의 위험이 있습니다."
그리고 훈련 데이터를 확장하는 것이 쉬운 해결책으로 보일 수 있지만, 그는 해결책이 다른 곳에 있다고 주장했습니다.
"이를 해결하는 것은 더 많은 데이터가 아니라 더 나은 추론입니다. 우리는 단순히 언어가 아니라 논리를 처리할 수 있는 모델이 필요합니다." 그는 말했습니다. "현재 최전선은 통계적 학습과 구조화된 사고를 연결하는 것입니다."
제임스 루빈이 편집
