人工智能平台提供商Clarifai推出了一项新的计算编排功能,承诺帮助企业优化任何计算环境中的AI工作负载,降低成本并避免供应商锁定。
该功能于2024年12月3日公布,公开预览版允许组织通过统一的控制平面编排AI工作负载,无论这些工作负载是在云上、本地还是在隔离基础设施上运行。该平台可与任何AI模型和硬件加速器(包括GPU、CPU和TPU)配合使用。
"Clarifai一直走在曲线前面,拥有十多年支持大型企业和关键政府需求的经验,提供全栈AI工具来创建定制AI工作负载,"Clarifai创始人兼CEO Matt Zeiler表示。"现在,我们正在开放内部构建的功能,以优化我们的计算成本,同时能够同时为数百万个模型提供服务。"
该公司声称,其平台可通过模型打包优化将计算使用量减少3.7倍,同时支持每秒超过160万个推理请求,可靠性达到99.9997%。根据Clarifai的说法,这些优化可能会将成本降低60-90%,具体取决于配置。
计算编排平台的功能包括:
- 通过自动化资源管理进行成本优化,包括模型打包、依赖简化和可自定义的自动扩展选项,可针对模型副本和计算节点进行扩展到零,
- 在任何硬件供应商(包括云、本地、隔离和Clarifai SaaS基础设施)上部署灵活性,
- 与Clarifai的AI平台集成,用于数据标记、训练、评估、工作流和反馈,
- 安全功能,允许部署到客户的VPC或本地Kubernetes集群,无需开放入站端口、VPC对等或自定义IAM角色。
该平台源于Clarifai客户在AI性能和成本方面的问题。"如果我们能够从整体上考虑它,比较我们的本地成本和云成本,然后能够跨环境进行编排,并以成本为基础,那将是非常有价值的,"Clarifai的公告中引用了一位客户的话。
计算编排功能建立在Clarifai现有的AI平台之上,该公司表示,该平台已处理了超过20亿次计算机视觉、语言和音频AI操作。该公司报告称,关键应用程序的正常运行时间和可用性达到99.99%以上。
计算编排功能目前处于公开预览状态。有意测试该平台的组织应联系Clarifai获取访问权限。
本文最初发表于AI News。
