samsja

samsja

833个推特粉丝

关注

Research Engineer at @PrimeIntellect, previously training llm at @NyonicAI, maintainer of @docarray

动态

难以置信，我们竟然生活在一个终端、TUI、Markdown 和 Git 即将统治世界的时代。

我们刚刚将 Slurm 支援合并到 prime-rl 中，只需一条命令即可渲染并启动 Slurm 脚本，从而在 512 个以上的 GPU 上进行大规模 MOE 训练。我们也支持 Kubernetes。

今天我们发布了 Trinity Large，这是一个具有 4000 亿 MoE 的 LLM 模型，拥有 130 亿个活跃参数，并使用 17T 个 token 进行训练。基础模型与GLM-4.5 Base 的表现相当，但由于其更稀疏且采用混合模型，因此推理速度明显更快。我们选择的这种建筑风格是我最喜欢的风格之一：

Prime Intellect

@PrimeIntellect

We're excited to introduce @arcee_ai's Trinity Large model. An open 400B parameter Mixture of Experts model, delivering frontier-level performance with only 13B active parameters. Trained in collaboration between Arcee, Datology and Prime Intellect. x.com/arcee_ai/statu…

去中心化训练是Neo Cloud重新利用其旧一代硬件的绝佳解决方案（谷歌已经使用他们的TPU进行了一段时间的此类尝试）

2️⃣ Blackwell Mass Deployment has Started Mass production and initial deployments of @nvidia Blackwell (B100/GB200) are ramping fast. These next-gen GPUs offer better performance per watt and lower TCO, making H100s yesterday’s news for neocloud customers. As a result, many

Loading..