Apple, 오픈 소스 언어 모델 OpenELM 출시

Odaily 오데일리 (Odaily) WWDC24 이전에 Apple이 Hugging Face 플랫폼에서 OpenELM이라는 "오픈 소스 교육 및 추론 프레임 갖춘 효율적인 언어 모델"을 출시했다고 보도했습니다. 이는 오픈 소스 언어 모델이며 해당 소스 코드, 사전 훈련된 모델 가중치 및 훈련 레시피는 Apple의 Github 저장소에서 사용할 수 있습니다. 보고서에 따르면 OpenELM은 Transformer 모델의 각 계층에 대한 매개변수를 효과적으로 할당할 수 있는 계층적 확장 전략을 사용하여 정확도를 향상시킵니다. 예를 들어, 매개변수 개수가 약 10억 개일 경우 OpenELM의 정확도는 OLMo에 비해 2.36% 향상되고, 필요한 사전 학습 토큰 개수는 원본의 50%에 불과합니다. 모델 가중치와 추론 코드만 제공하고 비공개 데이터 세트에 대한 사전 교육을 제공했던 과거 관행과 달리 Apple에서 출시한 버전에는 교육 로그, 다중 체크 포인트 및 사전 교육을 포함하여 공개 데이터 세트에 대한 언어 모델을 교육하고 평가하기 위한 완전한 프레임 포함되어 있습니다. 구성. 또한 Apple 기기에서 추론 및 미세 조정을 위해 모델을 MLX 라이브러리로 변환하는 코드도 공개했습니다. 이 포괄적인 릴리스의 목표는 개방형 연구 커뮤니티를 강화 및 공고히 하고 향후 개방형 연구 노력의 기반을 마련하는 것입니다. (IT 홈)