samsja

samsja

833명의 트위터 팔로워

팔로우하기

Research Engineer at @PrimeIntellect, previously training llm at @NyonicAI, maintainer of @docarray

포스팅

터미널, TUI, 마크다운, 그리고 Git이 세상을 지배할 시대에 살고 있다니 믿을 수가 없네요.

Prime-RL에 Slurm 지원 기능을 통합했습니다. 이제 단일 명령으로 512개 이상의 GPU를 사용하여 대규모 MOE 학습을 시작하는 Slurm 스크립트를 실행할 수 있습니다. Kubernetes도 지원합니다.

오늘 저희는 17조 개의 토큰을 기반으로 학습된 4천억 MoE 규모의 LLM인 Trinity Large를 출시합니다. Trinity Large는 130억 개의 활성 파라미터를 가지고 있습니다. 기본 모델은 골렘(GLM)-4.5 Base와 동등한 성능을 보이면서도, 희소성과 하이브리드 구조 덕분에 추론 속도가 훨씬 빠릅니다. 우리가 선택한 건축물은 제가 가장 좋아하는 것 중 하나입니다.

Prime Intellect

@PrimeIntellect

We're excited to introduce @arcee_ai's Trinity Large model. An open 400B parameter Mixture of Experts model, delivering frontier-level performance with only 13B active parameters. Trained in collaboration between Arcee, Datology and Prime Intellect. x.com/arcee_ai/statu…

분산형 훈련은 네오(Neo) 클라우드가 구형 하드웨어를 재활용하기 위한 훌륭한 솔루션입니다 (구글은 이미 TPU로 이를 한동안 수행해왔습니다)

2️⃣ Blackwell Mass Deployment has Started Mass production and initial deployments of @nvidia Blackwell (B100/GB200) are ramping fast. These next-gen GPUs offer better performance per watt and lower TCO, making H100s yesterday’s news for neocloud customers. As a result, many

Loading..