Clarifai는 기업이 어떤 컴퓨팅 환경에서든 AI 워크로드를 최적화하고 비용을 절감하며 벤더 종속을 방지할 수 있는 새로운 컴퓨팅 오케스트레이션 기능을 공개했습니다.
2024년 12월 3일에 발표된 공개 미리보기 릴리스를 통해 기업은 클라우드, 온-프레미스 또는 에어 갭 인프라에서 실행되는 AI 워크로드를 통합 제어 플레인으로 오케스트레이션할 수 있습니다. 이 플랫폼은 GPU, CPU, TPU를 포함한 모든 AI 모델과 하드웨어 가속기와 호환됩니다.
Clarifai의 설립자이자 CEO인 Matt Zeiler는 "Clarifai는 항상 커브를 선도해왔으며, 10년 이상의 경험을 통해 대기업과 정부 기관의 핵심 요구사항을 지원하는 완전한 스택의 AI 도구를 제공해왔습니다. 이제 우리는 규모를 확장하여 수백만 개의 모델을 동시에 지원하는 과정에서 내부적으로 구축한 기능을 공개하고 있습니다."라고 말했습니다.
이 회사는 자사 플랫폼이 모델 패킹 최적화를 통해 컴퓨팅 사용량을 3.7배 줄일 수 있으며, 99.9997%의 안정성으로 초당 160만 건 이상의 추론 요청을 지원할 수 있다고 주장합니다. Clarifai에 따르면 이러한 최적화를 통해 구성에 따라 60-90%의 비용을 절감할 수 있습니다.
컴퓨팅 오케스트레이션 플랫폼의 기능에는 다음이 포함됩니다:
- 자동 리소스 관리, 모델 패킹, 종속성 단순화, 맞춤형 자동 스케일링 옵션을 통한 비용 최적화,
- 클라우드, 온-프레미스, 에어 갭, Clarifai SaaS 인프라를 포함한 모든 하드웨어 벤더에 대한 배포 유연성,
- 데이터 레이블링, 학습, 평가, 워크플로우, 피드백을 위한 Clarifai AI 플랫폼과의 통합,
- 오픈 인바운드 포트, VPC 피어링, 사용자 지정 IAM 역할 없이 고객 VPC 또는 온-프레미스 Kubernetes 클러스터에 배포할 수 있는 보안 기능.
이 플랫폼은 Clarifai 고객들의 AI 성능 및 비용 문제에서 비롯되었습니다. "온-프레미스 비용과 클라우드 비용을 전체적으로 고려하고 비용 기준으로 환경 전반에 걸쳐 오케스트레이션할 수 있다면 매우 가치 있을 것입니다."라고 Clarifai의 발표에 인용된 고객이 언급했습니다.
이 컴퓨팅 오케스트레이션 기능은 Clarifai의 기존 AI 플랫폼을 기반으로 하며, 이 회사는 컴퓨터 비전, 언어, 오디오 AI 분야에서 20억 건 이상의 작업을 처리했다고 보고했습니다. 또한 99.99% 이상의 가동 시간과 24/7 가용성을 유지하고 있다고 합니다.
컴퓨팅 오케스트레이션 기능은 현재 공개 미리보기 상태로 제공됩니다. 이 플랫폼을 테스트하고자 하는 기관은 Clarifai에 문의해야 합니다.
이 기사는 New Clarifai tool orchestrates AI across any infrastructure에서 처음 게재되었습니다.
