人工智慧平臺提供商Clarifai推出了一項新的計算編排功能,承諾幫助企業最佳化任何計算環境中的AI工作負載,降低成本並避免供應商鎖定。
該功能於2024年12月3日公佈,公開預覽版允許組織透過統一的控制平面編排AI工作負載,無論這些工作負載是在雲上、本地還是在隔離基礎設施上執行。該平臺可與任何AI模型和硬體加速器(包括GPU、CPU和TPU)配合使用。
"Clarifai一直走在曲線前面,擁有十多年支援大型企業和關鍵政府需求的經驗,提供全棧AI工具來建立定製AI工作負載,"Clarifai創始人兼CEO Matt Zeiler表示。"現在,我們正在開放內部構建的功能,以最佳化我們的計算成本,同時能夠同時為數百萬個模型提供服務。"
該公司聲稱,其平臺可透過模型打包最佳化將計算使用量減少3.7倍,同時支援每秒超過160萬個推理請求,可靠性達到99.9997%。根據Clarifai的說法,這些最佳化可能會將成本降低60-90%,具體取決於配置。
計算編排平臺的功能包括:
- 透過自動化資源管理進行成本最佳化,包括模型打包、依賴簡化和可自定義的自動擴充套件選項,可針對模型副本和計算節點進行擴充套件到零,
- 在任何硬體供應商(包括雲、本地、隔離和Clarifai SaaS基礎設施)上部署靈活性,
- 與Clarifai的AI平臺整合,用於資料標記、訓練、評估、工作流和反饋,
- 安全功能,允許部署到客戶的VPC或本地Kubernetes叢集,無需開放入站埠、VPC對等或自定義IAM角色。
該平臺源於Clarifai客戶在AI效能和成本方面的問題。"如果我們能夠從整體上考慮它,比較我們的本地成本和雲成本,然後能夠跨環境進行編排,並以成本為基礎,那將是非常有價值的,"Clarifai的公告中引用了一位客戶的話。
計算編排功能建立在Clarifai現有的AI平臺之上,該公司表示,該平臺已處理了超過20億次計算機視覺、語言和音訊AI操作。該公司報告稱,關鍵應用程式的正常執行時間和可用性達到99.99%以上。
計算編排功能目前處於公開預覽狀態。有意測試該平臺的組織應聯絡Clarifai獲取訪問許可權。
本文最初發表於AI News。
