목요일 오전, Meta는 최신 인공지능 모델인 라마 3를 출시하며 누구나 사용할 수 있도록 오픈 소스로 공개된 가장 강력한 모델이라고 선전했습니다. 같은 날 오후, Meta의 수석 AI 과학자인 얀 르쿤은 더 강력한 라마의 후속작이 개발 중이라고 말했습니다. 그는 OpenAI의 GPT-4와 Google의 Gemini를 포함한 세계 최고의 폐쇄형 AI 모델을 능가할 수 있을 것이라고 말했습니다.
메타는 오늘 80억 개의 매개변수(모델의 성능을 대략적으로 나타내는 업계 용어)를 가진 버전과 700억 개의 매개변수를 가진 버전 등 두 가지 버전의 라마 3를 출시했습니다. 르쿤은 더 큰 모델을 개발 중이며, 현재 4,000억 개 이상의 매개변수를 가진 가장 강력한 모델이 훈련 중이라고 말했습니다.
"미세 조정에는 많은 시간이 걸리지만, 앞으로 몇 달 안에 이러한 모델의 다양한 변형이 나올 것입니다."라고 LeCun은 제너레이티브 AI에 초점을 맞춘 MIT의 컨퍼런스인 Imagination in Action에서 말했습니다. 4,000억 개 이상의 매개변수가 포함된 모델이 언제 출시될지는 불분명합니다.
메타는 화요일에 라마 3에 기반한 메타 AI라는 새로운 어시스턴트를 출시했으며, 테스트 결과 비슷한 수의 파라미터를 가진 이전 오픈 소스 모델보다 더 나은 것으로 나타났다고 밝혔습니다. 구글이나 OpenAI와 같은 대형 AI 개발사 대부분은 기술을 비공개로 유지하고 있지만, 르쿤은 오픈소스 AI 모델이 더 빠르게 발전할 것이라고 예측했습니다. 그는 이론적으로는 오픈소스가 AI를 인간 수준의 지능으로 더 빠르게 발전시킬 것이라고 말했습니다.
르쿤은 더 넓은 소프트웨어 산업을 살펴보면 오픈 소스 기술이 궁극적으로 승리한다는 것을 알 수 있다고 주장했습니다. 그는 개방형 접근 방식이 소프트웨어 인프라에서 우세한 이유는 개선 사항을 더 빠르게 공유하고 코드를 더 포괄적으로 면밀히 검토할 수 있기 때문이라고 말했습니다. "더 많은 사람이 코드를 살펴볼 때 AI가 더 잘 작동합니다."라고 그는 말합니다. "인프라는 오픈 소스여야만 더 빠르게 발전할 수 있습니다."
메타의 오픈 소스 AI 전략은 현재 제너레이티브 AI에 대한 열풍을 가속화하는 데 도움이 되었습니다. 메타는 2023년 7월에 라마 2 모델을 출시하면서 많은 스타트업, 연구원, 기업가들이 훨씬 더 강력한 AI 모델을 다운로드하여 실험하고 구축할 수 있도록 지원했습니다.
OpenAI의 GPT-4와 Google의 Gemini는 유료 API를 통해서만 사용할 수 있지만, Google은 2월에 Gemma라는 더 작은 모델을 다운로드할 수 있도록 했습니다. 몇몇 다른 회사들도 강력한 오픈 소스 AI 모델을 출시하기 위해 Meta에 합류하기로 결정했습니다. 불과 몇 주 전만 해도 스타트업인 데이터브릭스의 새로운 모델이 가장 강력한 오픈 소스 모델이었습니다. 메타가 보고한 벤치마킹 점수가 맞다면 라마 3의 성능이 더 뛰어난 것으로 보입니다.
르쿤은 또한 화요일에 Meta의 전략이 연구 및 컴퓨팅 리소스를 개발하는 데 막대한 비용이 드는 AI 모델을 무료로 제공하는 것을 포함한다는 사실을 인정했습니다. Meta의 창립자이자 CEO인 마크 저커버그는 지난 1월 CNBC와의 인터뷰에서 Meta가 2024년에 머신러닝 알고리즘을 훈련하는 데 필요한 GPU를 확보하기 위해 수십억 달러를 지출할 것이라고 밝힌 바 있습니다. 같은 달 그는 OpenAI와 구글이 공언한 것과 마찬가지로 Meta의 궁극적인 목표는 인간 지성이 할 수 있는 모든 것을 할 수 있는 기계, 이른바 인공 일반 지능을 개발하는 것이라고 선언했습니다.
저커버그는 오늘 인스타그램을 통해 메타가 라마 3로 구동되는 새로운 메타 AI 비서를 왓츠앱, 인스타그램, 페이스북, 메신저 등의 제품에 통합할 것이라고 설명했습니다.
메타는 라마 3를 발표하는 블로그 게시물에서 모델 개발에 사용된 학습 데이터를 개선하는 데 많은 노력을 기울였다고 밝혔습니다. 이전 버전인 라마 2보다 7배 더 많은 데이터를 입력했다고 밝혔습니다. 일부 AI 전문가들은 메타가 공개한 수치에 따르면 라마 3를 개발하는 데 필요한 서버에 전력을 공급하는 데 엄청난 양의 에너지가 필요했다고 지적했습니다.
오픈 소스 AI 모델의 역량이 커지면서 일부 전문가들은 사이버, 화학, 생물학 무기를 더 쉽게 개발하거나 심지어 인간에게 적대적으로 변할 수 있다는 우려를 제기하고 있습니다. 메타는 라마가 잠재적으로 유해한 발언을 출력하지 않도록 하는 데 도움이 될 수 있는 도구를 공개했습니다.
AI 분야의 다른 사람들은 Meta의 라마 모델이 충분히 개방적이지 않다고 말합니다. 이 회사의 모델에 대한 오픈 소스 라이선스는 연구자와 개발자가 구축할 수 있는 것에 약간의 제한을 두고 있습니다.
"점점 더 많은 모델이 자신의 가중치를 공개적으로 공개하는 것을 보는 것은 좋은 일입니다."라고 비영리 연구소인 Allen Institute for AI의 선임 응용 연구 과학자 Luca Soldaini는 라마 3 출시 후 성명에서 말했습니다. "하지만 오픈 커뮤니티는 데이터, 학습, 로그, 코드, 평가 등 AI 파이프라인의 다른 모든 부분에 액세스할 수 있어야 합니다. 이것이 궁극적으로 이러한 모델에 대한 우리의 집단적 이해를 가속화할 것입니다."
비영리 오픈 소스 AI 프로젝트인 EleutherAI에 참여하고 있는 AI 연구원Stella Biderman은 Meta의 Llama 2 라이선스는 AI 연구자가 실행할 수 있는 실험에 제한이 있었다고 말하며, Llama 3 라이선스는 훨씬 더 제한적이라고 덧붙입니다. "Meta는 가중치를 공개하지만 가중치로 무엇을 할 수 있는지에 대해서는 제한적인 것으로 유명합니다."라고 Biderman은 말합니다.
이 모델 라이선스의 한 부분에는 "월간 활성 사용자 수가 7억 명 이상"인 회사는 메타의 특별 라이선스를 받아야 한다고 명시되어 있는데, 이 조항은 프로젝트가 가장 가까운 라이벌을 돕지 못하도록 하기 위해 고안된 것으로 보입니다.
그럼에도 불구하고 라마 3는 새로운 AI 실험을 촉발할 것으로 보입니다. 라마 3를 포함한 개방형 AI 모델 저장소인 허깅페이스의 CEO 클레멘트 델랑쥬는 개발자들이 라마 2의 변형을 3만 개 이상 만들었다고 말합니다. "라마 3를 기반으로 한 새로운 모델도 쏟아져 나올 것이라고 확신합니다."라고 그는 말합니다. "메타의 멋진 커뮤니티 움직임입니다."
