OpenAI의 전 CTO인 Mira가 설립한 Thinking Machines는 혁신적인 모델인 인터랙티브 모델을 발표했습니다. 이 모델은 오디오, 비디오, 텍스트와 같은 다양한 모달 콘텐츠를 지속적으로 입력받아 실시간으로 생각하고, 반응하고, 행동할 수 있습니다. 기존의 에이전트 구조는 여러 모델과 모달리티를 에이전트를 통해 연결했지만, 이 모델은 모든 모달리티를 하나의 개체로 통합했습니다. 이를 통해 사용자는 모든 모달리티를 통해 실시간으로 AI와 상호작용할 수 있습니다. 언제든지 AI의 말을 끊거나 댓글을 달 수 있으며, AI는 사용자의 상태를 모니터링하고 그에 따라 결과를 출력합니다. 이전에는 문장이 끝날 때까지 기다려야만 모델과 상호작용할 수 있었던 것과는 완전히 다릅니다. 핵심 아이디어는 상호작용 메커니즘을 모델에 내장하도록 학습시키는 것입니다. Thinking Machines의 상호작용 모델은 처음부터 학습되었으며, 크게 두 부분으로 구성됩니다. 프런트엔드 상호작용 모델: (a) 항상 온라인 상태로 사용자가 제공하는 콘텐츠를 지속적으로 듣고, 보고, 읽습니다. (b) 노드로서 200밀리초마다 입력을 처리하고 작은 출력을 생성합니다. (c) 사용자의 상태를 유지하고, 사용자의 중단 및 개입을 지원하며, 화면 및 비디오 콘텐츠에 반응합니다. 백엔드 추론 모델: (a) 지속적인 추론, 도구 호출, 긴 컨텍스트 및 계획이 필요한 작업을 처리합니다. (b) 상호작용 모델은 추론 모델의 결과를 적절한 시점에 대화에 다시 통합하여 갑작스러운 콘텐츠 삽입 없이 처리합니다. 사용자가 보게 되는 최종 결과는 실시간으로 상호 작용하고 무거운 작업을 처리할 수 있는 인터페이스입니다.