AI 업계에서는 오케스트레이션에 대해 끊임없이 이야기하지만, 두 가지 다른 개념을 혼동하는 경우가 많습니다.
소프트웨어 오케스트레이션: 에이전트 로직을 조정합니다. 어떤 에이전트가 어떤 작업을 처리할지, 정보를 어떻게 전달할지, 언제 에스컬레이션을 수행할지 등을 결정합니다. LangGraph, CrewAI, AutoGen 등이 모두 소프트웨어 오케스트레이션의 예입니다.
컴퓨팅 오케스트레이션: 에이전트가 실행되는 물리적 리소스를 조정합니다. 어떤 하드웨어에서 어떤 워크로드를 실행할지, 리소스를 어떻게 동적으로 할당할지, 머신 장애 발생 시 어떻게 처리할지 등을 결정합니다.
둘 다 필요하지만, 대부분의 사람들은 소프트웨어 오케스트레이션만 생각합니다.
컴퓨팅 오케스트레이션 없이 소프트웨어 오케스트레이션만으로는 오케스트라 없이 교향곡을 작곡하는 것과 같습니다. 악보는 존재하지만 아무도 연주할 수 없습니다.
NuNet은 컴퓨팅 오케스트레이션 계층에서 작동합니다. 이 프로토콜은 엣지 디바이스, GPU, 서버, 데이터 센터 등 모든 하드웨어에서 사용 가능한 리소스를 검색하고, 워크로드를 동적으로 매칭하며, 장애 발생 시 복구하고, 비용을 정산합니다.
소프트웨어 계층은 에이전트의 작업 내용을 결정하고,
컴퓨팅 계층은 에이전트가 실제로 작업을 수행할 수 있도록 지원합니다.
두 계층 모두 오케스트레이션이 필요하지만, 현재는 하나만 구축되고 있습니다.