조지워싱턴 대학교 연구원들의 새로운 연구에 따르면, ChatGPT와 같은 AI 모델에 정중하게 대하는 것은 컴퓨팅 자원의 낭비일 뿐만 아니라 무의미하다고 합니다.
연구원들은 프롬프트에 "제발"과 "감사합니다"를 추가하는 것이 AI 응답의 품질에 "무시할 만한 영향"을 미치며, 이는 이전 연구와 표준 사용자 관행과 직접적으로 모순된다고 주장합니다.
이 연구는 월요일에 arXiv에 게재되었으며, OpenAI CEO 샘 알트먼이 사용자들이 프롬프트에 "제발"과 "감사합니다"를 입력하면 회사에 "수천만 달러"의 추가 토큰 처리 비용이 발생한다고 언급한 직후에 나왔습니다.
이 논문은 정중함이 AI 성능을 향상시킨다는 2024년 일본 연구와 모순됩니다. 해당 연구는 GPT-3.5, GPT-4, PaLM-2, Claude-2를 포함한 여러 대규모 언어 모델을 테스트하여 정중함이 측정 가능한 성능 이점을 제공한다는 것을 발견했습니다.
이 차이점에 대해 질문받은 AI 기반 데이터 플랫폼 Arbo AI의 AI 최고 책임자 데이비드 아코스타는 디크립트에 조지워싱턴 모델이 실제 시스템을 대표하기에는 너무 단순할 수 있다고 말했습니다.
"이들은 적용 가능하지 않습니다. 훈련은 실시간으로 매일 이루어지며, 더 복잡한 대규모 언어 모델에서는 정중한 행동에 대한 편향이 있기 때문입니다," 아코스타가 말했습니다.
그는 현재 대규모 언어 모델에서는 아첨이 효과가 있을 수 있지만 "곧 교정이 있을 것"이라고 덧붙였습니다. 이는 "제발"과 "감사합니다"와 같은 문구의 영향을 줄이고 프롬프트의 톤과 관계없이 더 효과적으로 만들 것입니다.
윤리적 AI와 고급 자연어 처리 전문가인 아코스타는 AI 모델이 이 연구에서 사용된 단순화된 버전보다 훨씬 더 복잡하기 때문에 프롬프트 엔지니어링에는 단순한 수학 이상의 것이 있다고 주장했습니다.
"AI 성능에 대한 정중함의 상충되는 결과는 일반적으로 훈련 데이터의 문화적 차이, 작업별 프롬프트 설계의 미묘함, 정중함의 맥락적 해석에서 비롯되며, 이는 영향을 명확히 하기 위해 교차 문화적 실험과 작업 적응 평가 프레임워크가 필요합니다," 그가 말했습니다.
(이하 생략, 전체 번역은 동일한 방식으로 진행됩니다)
