중국의 전자상거래 대기업 알리바바(Alibaba)는 중국 AI 분야의 주요 플레이어입니다. 오늘, 최신 AI 모델인 Qwen2의 출시를 발표했으며, 어떤 측면에서는 현재 최고의 오픈 소스 옵션입니다.
Alibaba Cloud에서 개발한 Qwen2는 Tongyi Qianwen LLM (Qwen이라고도 함), 비전 AI 모델 Qwen-VL 및 Qwen-Audio를 포함하는 회사의 Tongyi Qianwen(Qwen) 모델 시리즈의 차세대 제품입니다.
Qwen 모델 제품군은 다양한 산업 및 도메인을 포괄하는 다국어 데이터에 대해 사전 훈련되었으며 Qwen-72B는 시리즈에서 가장 강력한 모델입니다. 이는 3조 개의 인상적인 토큰 데이터에 대해 훈련되었습니다. 이에 비해 Meta의 가장 강력한 Llama-2 변종은 2조 개의 토큰을 기반으로 합니다. 그러나 Llama-3은 15조 개의 토큰을 소화하는 과정에 있습니다.
Qwen 팀의 최근 블로그 게시물 에 따르면 Qwen2는 OpenAI의 GPT-4o에 필적하는 128K 컨텍스트 토큰을 처리할 수 있습니다. 한편 Qwen2는 기본적으로 가장 중요한 모든 합성 벤치마크에서 Meta의 LLama3를 능가하여 현재 사용 가능한 최고의 오픈 소스 모델이 되었다고 팀은 주장합니다.
그러나 독립적인 Elo Arena는 Qwen2-72B-Instruct를 GPT-4-0314보다 조금 더 높게 평가하지만 Llama3 70B 및 GPT-4-0125-preview보다 낮으므로 인간 중에서 두 번째로 선호되는 오픈 소스 LLM이라는 점은 주목할 가치가 있습니다. 현재까지 테스터.
Qwen2는 5억에서 720억 개의 매개변수 범위에 이르는 5가지 크기로 제공되며, 이번 릴리스는 다양한 전문 분야에서 상당한 개선을 제공합니다. 또한 모델은 영어와 중국어 외에 독일어, 프랑스어, 스페인어, 이탈리아어, 러시아어를 포함해 이전 릴리스보다 27개 더 많은 언어로 데이터를 학습했습니다.
"이전에 출시된 Qwen1.5를 포함한 최첨단 오픈소스 언어 모델과 비교했을 때 Qwen2는 일반적으로 대부분의 오픈소스 모델을 능가했으며 언어 이해, 언어 생성을 대상으로 하는 일련의 벤치마크에서 독점 모델에 대한 경쟁력을 입증했습니다. , 다국어 기능, 코딩, 수학 및 추론"이라고 Qwen 팀은 HuggingFace의 모델 공식 페이지에서 주장했습니다 .
Qwen2 모델은 또한 긴 컨텍스트에 대한 인상적인 이해를 보여줍니다. Qwen2-72B-Instruct는 거대한 컨텍스트 내 어디에서나 오류 없이 정보 추출 작업을 처리할 수 있으며 "건초 더미 속의 바늘" 테스트를 거의 완벽하게 통과했습니다. 전통적으로 모델 성능은 우리가 모델과 더 많이 상호 작용할수록 저하되기 시작하기 때문에 이는 중요합니다.
이번 릴리스에서 Qwen 팀은 해당 모델의 라이선스도 변경했습니다. Qwen2-72B 및 해당 명령 조정 모델은 원래 Qianwen 라이센스를 계속 사용하지만 다른 모든 모델은 오픈 소스 소프트웨어 세계의 표준인 Apache 2.0을 채택했습니다.
알리바바 클라우드는 공식 블로그를 통해 “가까운 미래에 우리는 오픈소스 AI를 가속화하기 위해 오픈소스 새 모델을 계속해서 선보일 것” 이라고 밝혔다 .
디크립트(Decrypt) 모델을 테스트한 결과 여러 언어로 작업을 이해하는 데 상당한 능력이 있는 것으로 나타났습니다. 이 모델은 특히 중국에서 민감한 것으로 간주되는 주제에서 검열됩니다. 이는 Qwen2가 어떤 언어로 표시되든 불법 활동, 사기, 음란물, 개인 정보 보호 폭력 등 안전하지 않은 결과를 제공할 가능성이 가장 낮은 모델이라는 Alibaba의 주장과 일치하는 것 같습니다.
또한 시스템 프롬프트를 잘 이해하고 있으므로 적용되는 조건이 답변에 더 큰 영향을 미칩니다. 예를 들어, 법률 지식을 갖춘 도움이 되는 조력자 역할을 하라는 것과 항상 법에 근거해 대응하는 지식이 풍부한 변호사 역할을 하라고 했을 때, 그에 대한 답변은 큰 차이를 보였습니다. 이는 GPT-4o에서 제공한 조언과 유사한 조언을 제공했지만 더 간결했습니다.
다음 모델 업그레이드는 Qwen2 LLM에 다중 모드를 제공하여 모든 제품군을 하나의 강력한 모델로 통합할 수 있다고 팀은 말했습니다. "게다가 우리는 Qwen2 언어 모델을 다중 모드로 확장하여 시각 및 오디오 정보를 모두 이해할 수 있습니다"라고 덧붙였습니다.
Qwen은 HuggingFace Spaces를 통해 온라인 테스트에 사용할 수 있습니다. 로컬에서 실행하기에 충분한 컴퓨팅 능력을 갖춘 사람들은 HuggingFace를 통해서도 가중치를 무료로 다운로드 할 수 있습니다.
Qwen2 모델은 오픈 소스 AI에 기꺼이 투자하려는 사람들에게 훌륭한 대안이 될 수 있습니다. 이는 대부분의 다른 모델보다 더 큰 토큰 컨텍스트 창을 갖고 있어 Meta의 LLama 3보다 더 뛰어난 성능을 발휘합니다. 또한 라이선스로 인해 다른 사람이 공유하는 미세 조정 버전이 이를 개선하여 점수를 더욱 높이고 편견을 극복할 수 있습니다.
편집자: Ryan Ozawa .
