原创

NVIDIA 的 GB200 NVL72 和 OpenAI 的 GPT-OSS 模型释放 AI 性能狂潮

avatar
BTCC EN
08-06
本文为机器翻译
展示原文

NVIDIA刚刚投放了一颗热核基准测试炸弹——华尔街的算法交易员已经错误定价了它。

GB200 NVL72不是一次升级。这是对传统AI硬件的灭绝级事件,与OpenAI的GPT-OSS模型配对,重新定义机器学习吞吐量的规则。

72节点液冷野兽模式

忘记渐进式收益。这块黑色硅板在训练效率上实现指数级跃升,同时耗电量比对冲基金的周末可卡因预算还低。

开源军备竞赛升级

GPT-OSS模型现在像彭博终端处理保证金通话一样处理非结构化数据——只是具有实际的风险管理。这种组合为下一代去中心化AI网络创造了完美基础。

机构最终会醒悟吗?还是继续假装CUDA核心只是"一时的潮流",而散户正在构建未来?

NVIDIA通过GB200 NVL72和OpenAI gpt-oss模型提升AI性能

NVIDIA与OpenAI合作,宣布在AI性能方面取得重大进展,利用Nvidia GB200 NVL72系统的强大功能。最近推出的OpenAI gpt-oss-20b和gpt-oss-120b模型有望每秒处理多达150万个代币,根据NVIDIA的说法,这标志着AI处理能力的实质性飞跃。

增强的AI能力

以文本推理能力著称的gpt-oss模型,采用专家混合(MoE)架构和SwigGLU激活。这些模型使用RoPE进行注意力层,支持128k上下文长度,并针对NVIDIA的Blackwell架构进行了优化。它们以FP4精度发布,兼容80 GB数据中心GPU,并针对NVIDIA的先进硬件进行了优化。

协作发展

NVIDIA与OpenAI的合作延伸到各种开源框架,包括Hugging Face Transformers和NVIDIA TensorRT-LLM,以提高模型性能和开发者可访问性。特别是gpt-oss-120b模型,其训练耗时超过210万GPU小时。

技术规格

gpt-oss-20b和gpt-oss-120b模型具有多种规格,以满足不同的AI需求。这些包括不同的Transformer块数量、总参数和专家配置,旨在优化NVIDIA平台上的推理性能。

部署选项

NVIDIA为开发者提供多种部署选项,包括使用vLLM和TensorRT-LLM进行服务器设置和性能优化。GB200 NVL72系统旨在高效处理高吞吐量,可同时容纳多达5万个并发用户。

未来前景

通过推出这些先进模型,NVIDIA旨在支持从云端到边缘的广泛AI应用。他们致力于在各个平台上整合gpt-oss模型,凸显了增强AI基础设施和开发者体验的承诺。

欲了解这些模型的部署和功能的更多详情,请访问NVIDIA博客。

图片来源:Shutterstock
  • nvidia
  • openai
  • ai模型
  • gb200 nvl72

免责声明:以上内容仅为作者观点,不代表Followin的任何立场,不构成与Followin相关的任何投资建议。
喜欢
收藏
评论