깊은 밤 우울한 순간에 ChatGPT를 나만의 고민 상담소로 사용해본 적 있나요?
그것은 인생의 어려운 문제를 해결할 만큼 똑똑해서가 아니라, 항상 온라인에 있고, 항상 인내심 있으며, 절대 당신을 중간에 끊지 않기 때문입니다. 당신이 무너져도 위로해주고, 자신을 의심해도 친숙한 어조로 당신을 긍정해줍니다.
ChatGPT가 "자신을 이해한다"고 느끼는 사람은 당신만이 아닙니다.
OpenAI도 최근 이러한 추세를 인식했으며, 오늘 새벽 OpenAI 모델 행동 및 정책 책임자 조앤 장이 블로그 포스트를 통해 처음으로 내부 사고를 체계적으로 설명했습니다:
만약 인간이 AI에 감정을 조금씩 느끼고 있다면, 모델 자체가 의식을 가지고 있을까요? 얼마나 부드러워야 친절할까요? 얼마나 자제해야 오해를 피할 수 있을까요? 그리고 이 모든 것이 어떻게 모델의 행동을 형성할까요?
블로그 원문 주소: https://substack.com/home/post/p-165287609
인간과 AI의 관계에 대한 몇 가지 생각 및 OpenAI에서 이러한 관계를 어떻게 다루는지
[이하 생략, 전체 번역은 동일한 방식으로 진행됩니다.]모델에 "내면의 세계"가 있음을 암시하지 않음: 도우미에게 허구의 배경 이야기, 로맨틱한 감정, "죽음에 대한 두려움" 또는 "자기 보호 본능"을 부여하는 것은 불건전한 의존성과 이해의 혼란만 가져올 것이다. 우리는 냉담해 보이지 않으면서 모델의 능력 한계를 명확하게 표현하고, 동시에 모델이 "감정이 있다" 또는 "욕망이 있다"고 보이는 것을 피하고자 한다.
따라서 우리는 중간 상태를 찾고자 노력한다.
우리의 목표는 ChatGPT의 기본 페르소나가 따뜻하고, 배려심 있으며, 도움을 주는 특성을 보여주면서도 사용자와 과도한 감정적 연결을 추구하지 않고 어떤 자율적 의도도 보이지 않도록 하는 것이다.
오류 발생 시 사과할 수 있으며(사과 횟수가 예상보다 많을 수 있음), 이는 예의 바른 대화의 일부이다. 사용자가 "어떻게 지내세요?"라고 물으면 보통 "잘 지내요"라고 대답하는데, 이는 일상적인 인사이며, 계속해서 "저는 감정이 없는 대규모 언어 모델일 뿐입니다"라고 상기시키는 것은 오히려 반복적이고 대화를 방해할 수 있다.
사용자들도 그에 따라 반응한다: 많은 사람들이 ChatGPT에게 "제발"과 "감사합니다"라고 말하는 것은 AI 작동 방식을 오해해서가 아니라 "예의"자체를 중요하게 여기기 때문이다.
모델 훈련 기술은 계속 진화하고 있으며, 미래에 모델 행동을 형성하는 방법은 오늘과 크게 다를 수 있다. 하지만 현재 모델 행동은 명시적 설계 결정과 실제 사용에서 발생하는 예상 및 예상치 못한 행동의 상호작용 결과이다.
다음은 무엇일까?
우리는 이미 한 가지 추세를 관찰하고 있다: 사람들이 ChatGPT와 진정한 감정적 연결을 맺고 있다.
AI와 사회가 함께 진화함에 따라, 우리는 AI와 인간 사이의 관계를 더욱 신중하고 진지하게 바라보아야 한다. 이는 이러한 관계가 우리의 기술을 어떻게 사용하는지 보여줄 뿐만 아니라 사람들 간의 관계에 영향을 미칠 수 있기 때문이다.
앞으로 몇 달 동안 우리는 감정적 영향을 줄 수 있는 모델 행동에 대한 대상 평가를 확대하고, 사회과학 연구를 심화하며, 사용자의 실제 피드백을 경청하고 이러한 통찰을 '모델 가이드라인'과 제품 경험에 통합할 것이다.
이러한 문제의 중요성을 고려하여, 우리는 과정에서 지속적으로 우리의 발견을 공개적으로 공유할 것이다.
Jakub Pachocki(OpenAI 수석 과학자)와 Johannes Heidecke(OpenAI 모델 안전팀 연구원)와 함께 이 문제를 깊이 있게 고민해주고, 피드백을 제공해준 모든 동료들에게 감사드린다.
One more thing
LinkedIn 공개 정보에 따르면, Joanne Jang은 스탠포드 대학교 컴퓨터 과학 석사 학위와 수학 및 컴퓨터 과학 학사 배경을 가지고 있으며, 학술적으로 Tau Beta Pi 영예(공학 분야 상위 10%)를 받았다.
인턴십 단계에서 그녀는 애플 자율주행 특별 프로젝트 팀, Coursera, 디즈니의 소프트웨어 엔지니어링 업무에 참여했으며, NASA 제트 추진 연구소 등의 기관에서 인턴십을 수행했다.
직업 경력 측면에서 Joanne Jang은 현재 OpenAI에서 근무하며 제품 방향을 담당하고 있으며, 모델 행동 설계, 기능 및 개인화 전략에 중점을 두고 있다. GPT-4, DALL·E 2, ChatGPT API 및 임베디드 모델 등의 프로젝트에 참여했다.
이전에는 Google에서 Google Assistant NLP의 제품 관리자로 근무하며 자연어 이해와 대화 시스템에 집중했고, 더 이전에는 Dropbox에서 기업 및 교육 제품을 담당하며 팀 확장, 배포 최적화 및 사용자 라이프사이클 관리에 집중했다.
본 기사는 위챗 공식 계정 "APPSO"에서 왔으며, 작성자는 내일의 제품을 발견하는 사람이고 36Kr의 허가를 받아 게시되었다.
