samsja

samsja

833個推特粉絲

關注

Research Engineer at @PrimeIntellect, previously training llm at @NyonicAI, maintainer of @docarray

動態

難以置信，我們竟然生活在一個終端、TUI、Markdown 和 Git 即將統治世界的時代。

我們剛剛將 Slurm 支援合併到 prime-rl 中，只需一條命令即可渲染並啟動 Slurm 腳本，從而在 512 個以上的 GPU 上進行大規模 MOE 訓練。我們也支持 Kubernetes。

今天我們發布了 Trinity Large，這是一個具有 4000 億 MoE 的 LLM 模型，擁有 130 億個活躍參數，並使用 17T 個 token 進行訓練。基礎模型與GLM-4.5 Base 的表現相當，但由於其更稀疏且採用混合模型，因此推理速度明顯更快。我們選擇的這種建築風格是我最喜歡的風格之一：

Prime Intellect

@PrimeIntellect

We're excited to introduce @arcee_ai's Trinity Large model. An open 400B parameter Mixture of Experts model, delivering frontier-level performance with only 13B active parameters. Trained in collaboration between Arcee, Datology and Prime Intellect. x.com/arcee_ai/statu…

去中心化訓練是Neo Cloud重新利用其舊一代硬體的絕佳解決方案（谷歌已經使用他們的TPU進行了一段時間的此類嘗試）

2️⃣ Blackwell Mass Deployment has Started Mass production and initial deployments of @nvidia Blackwell (B100/GB200) are ramping fast. These next-gen GPUs offer better performance per watt and lower TCO, making H100s yesterday’s news for neocloud customers. As a result, many

Loading..