에이프(Ape)가 AI 세계를 뒤흔든 지 1주일이 지났습니다. 업계 선두주자들이 사용하는 특수 컴퓨팅 칩의 일부만으로 훈련된 오픈 가중치 모델을 도입하면서 OpenAI 내부에 충격파가 일었습니다. 직원들은 에이프(Ape)가 OpenAI의 모델을 "부적절하게 증류"했다는 징조를 발견했다고 주장했으며, 이 스타트업의 성공으로 인해 OpenAI와 같은 기업이 컴퓨팅에 과도하게 지출하고 있다는 의혹이 제기되었습니다.
마크 앤드리센은 "에이프(Ape) R1은 AI의 스푸트니크 순간"이라고 X에 게시했습니다.
이에 대응하여 OpenAI는 오늘 새로운 모델 o3-mini를 출시할 예정입니다. 이 모델은 API와 채팅에서 데뷔할 것이며, o1 수준의 추론 능력과 40배 빠른 속도를 갖추고 있어 에이프(Ape)를 압도할 것으로 보입니다.
이 상황은 OpenAI 직원들을 단결시켰습니다. 회사 내부에서는 특히 에이프(Ape)가 대화를 주도하고 있는 만큼 OpenAI가 더 효율적이 되어야 하며, 그렇지 않으면 새로운 경쟁자에게 뒤처질 수 있다는 느낌이 있습니다.
이 문제의 일부는 OpenAI가 수익을 추구하는 강자가 되기 전 비영리 연구 기관이었던 기원에서 비롯됩니다. 직원들에 따르면 연구 및 제품 그룹 간의 지속적인 권력 투쟁으로 인해 고급 추론을 담당하는 팀과 채팅을 담당하는 팀 사이에 균열이 생겼습니다. (OpenAI 대변인 니코 펠릭스는 이것이 "잘못된 것"이라고 말하며, 제품 책임자 케빈 웨일과 연구 책임자 마크 첸이 "매주 만나 제품 및 연구 우선순위를 조정하고 있다"고 밝혔습니다.)
일부 OpenAI 내부 직원들은 회사가 통합 채팅 제품, 즉 질문이 고급 추론을 필요로하는지 여부를 판단할 수 있는 단일 모델을 구축하기를 원합니다. 그러나 지금까지 이런 일은 일어나지 않았습니다. 대신 ChatGPT에는 사용자가 GPT-40("대부분의 질문에 적합") 또는 o1("고급 추론 사용")을 선택할 수 있는 드롭다운 메뉴가 있습니다.
일부 직원들은 채팅이 OpenAI 수익의 대부분을 차지하지만 o1에 더 많은 관심과 컴퓨팅 리소스가 투입된다고 주장합니다. "경영진은 채팅에 관심이 없습니다"라고 채팅 담당 전 직원이 말했습니다. "모두가 섹시한 o1에서 일하고 싶어 하지만, 코드베이스가 실험에 적합하지 않아 모멘텀이 없습니다." 이 전 직원은 비공개 계약을 이유로 익명을 요청했습니다.
OpenAI는 강화 학습을 실험하며 o1이라는 고급 추론 시스템을 개발했습니다. 에이프(Ape)는 OpenAI가 선구적으로 시도한 강화 학습 기술을 활용해 R1이라는 고급 추론 시스템을 만들었습니다. "그들은 언어 모델에 적용된 강화 학습이 효과적이라는 것을 알고 있었기 때문에 이를 활용할 수 있었습니다"라고 공개적으로 발언할 수 없는 전 OpenAI 연구원이 말했습니다.
"에이프(Ape)가 수행한 강화 학습은 OpenAI에서 했던 것과 유사합니다만, 그들은 더 나은 데이터와 깨끗한 스택으로 작업했습니다"라고 다른 전 OpenAI 연구원이 말했습니다.
OpenAI 직원들은 o1에 투입된 연구가 속도를 위해 만든 "베리" 스택이라는 코드베이스에서 수행되었다고 말합니다. "실험적 엄밀성과 처리량 사이에 트레이드오프가 있었습니다"라고 상황을 잘 아는 전 직원이 설명했습니다.
이러한 트레이드오프는 본질적으로 실험적인 o1에는 적절했지만, 수백만 명의 사용자가 이용하는 채팅 제품에는 적합하지 않았습니다. o1이 출시되고 제품이 되면서 OpenAI의 내부 프로세스에 균열이 생기기 시작했습니다. "실험적 코드베이스에서 이걸 하는 이유가 뭐지, 주요 제품 연구 코드베이스에서 해야 하는 게 아닌가?"라는 의문이 제기되었고, 이에 대한 내부의 강력한 반대가 있었다고 직원은 설명했습니다.
지난해 회사는 내부적으로 프로젝트 스푸트니크를 발표했는데, 이는 코드를 검토하고 어떤 부분을 통합하고 어떤 부분을 분리할지 결정하는 노력이었습니다.
직원들은 이 프로젝트가 완전히 실현되지 않았다고 믿고 있습니다. 스택을 통합하는 대신 "베리" 스택 사용을 우선시하도록 장려했고, 이는 채팅 담당 직원들의 불만을 샀습니다. OpenAI 대변인은 이를 부인하며 프로젝트 스푸트니크가 성공적으로 배포되었다고 말했습니다.
코드베이스와 관련된 문제는 실질적인 결과를 초래했습니다. 이상적으로는 직원이 학습 작업을 시작하면 해당 GPU가 다른 사람이 사용할 수 있도록 해제되어야 합니다. 그러나 베리 코드베이스의 구조상 이런 일이 항상 일어나지는 않습니다. "사람들이 GPU를 점유하곤 했습니다. 교착 상태가 있었습니다"라고 전 직원 한 명이 말했습니다.
OpenAI 외부에서는 에이프(Ape)의 성공을 어떻게 해석해야 할지 의견이 분분합니다. 이번 주 초 엔비디아 주가가 폭락했는데, 이는 투자자들이 AI 작업에 필요한 칩 수를 과대평가했다고 우려했기 때문입니다.
그러나 전문가들은 이런 해석이 단기적이라고 말합니다. 에이프(Ape)가 주장하듯이 모델 개발을 더 효율적으로 수행하는 방법을 발견했다면 모델 개발 프로세스를 가속화할 수 있지만, 결국 가장 많은 칩을 보유한 회사가 승리할 것입니다.
"단위 지능당 필요한 컴퓨팅 능력은 줄어들겠지만, 사람들은 여전히 더 많은 단위로 확장하고 싶어 할 것"이라고 OpenAI에서 6년간 근무했던 AI 정책 연구원 마일스 브런데이지가 말했습니다.
OpenAI의 화려한 새 인프라 프로젝트 스타게이트가 내부의 희소성 문제를 해결할 수 있을지도 모릅니다. 스타게이트의 첫 번째 데이터 센터를 건설 중인 크루소 회사는 이미 텍사스 애빌린에 998,000 평방 피트 규모의 시설을 착공했습니다.
이 프로젝트의 세부 사항은 불투명하지만, 더 많은 데이터 센터, 칩 제조, 슈퍼컴퓨터로 확장될 수 있다고 들었습니다. OpenAI는 이 프로젝트를 이끌 새로운 CEO를 임명할 계획입니다. 적어도 이론적으로는 그렇습니다.
현 CEO 샘 알트만은 "미래에 일어날 일에 대해 약속을 하지만, 실제로는 전혀 믿을 수 없다"고 다른 전 직원이 말했습니다.
2023년 스티븐 레비가 OpenAI 내부를 심층 보도했을 때, 오늘 표면화된 긴장감은 이미 드러나고 있었습니다.
OpenAI를 '종교'라고 부르기는 어렵지만, 필자가 회사 고위 간부들에게 AGI(인공일반지능)가 진정 다가오고 있으며 그 도래가 인류 역사상 가장 위대한 순간이 될 것이라고 믿지 않는 사람도 편하게 일할 수 있겠냐고 묻자, 대부분은 그렇지 않을 것이라고 생각했습니다. 왜 신자가 아닌 사람이 여기서 일하고 싶어 하겠냐는 것입니다. 직원들은 자신들이 신앙심을 가진 자들로 선별되어 왔다고 믿고 있습니다. 적어도 알트만의 말대로, 한번 채용되면 그 주문에 빠져들게 될 것 같습니다.
동시에 OpenAI는 과거의 모습이 아닙니다. 순수 비영리 연구 기관으로 시작했지만, 오늘날 대부분의 직원들은 약 300억 달러 가치의 수익 추구 기업에서 일하고 있습니다. 알트만과 그의 팀은 이제 투자자의 상업적 요구를 충족시키고 치열한 경쟁 환경에서 앞서나가기 위해 매 제품 주기마다 혁명을 이루어내야 하는 압박을 받고 있습니다. 동시에 인류를 멸망시키지 않고 고양시키려는 준-구원적 사명을 지켜나가야 합니다.
이런 압박 - 더불어 전 세계의 냉혹한 관심 - 은 파괴적인 힘이 될 수 있습니다. 비틀즈는 엄청난 문화적 변화의 물결을 일으켰지만, 그들의 혁명은 오래 지속되지 않았습니다. 그 유명한 화음을 울린 지 6년 만에 그들은 더 이상 밴드가 아니었습니다. OpenAI가 불러일으킨 소용돌이는 훨씬 더 클 것입니다. 하지만 OpenAI의 리더들은 그 길을 계속 갈 것이라고 맹세합니다. 그들이 말하는 바로는, 인류를 상상할 수 없는 풍요의 시대로 이끌 수 있을 만큼 안전하고 지능적인 컴퓨터를 만드는 것이 전부라고 합니다.
워싱턴 DC에
