ChatGPT의 대화 유창성, 제미니(Gemini)의 멀티모달 능력, DeepSeek의 긴 컨텍스트 분석...
이들을 강력하게 결합하여 문제를 함께 해결할 수 있을까?
트랜스포머 저자 중 한 명인 Llion Jones가 설립한 스타 AI 회사 Sakana AI가 새로운 방법 AB-MCTS를 제안했습니다. 핵심 아이디어는 다음과 같습니다:
가장 위대한 성과는 종종 다른 생각들의 협업에서 비롯되며, 우리는 이 원칙이 인공지능에도 동일하게 적용된다고 믿습니다.
AB-MCTS는 적응형 분기 몬테카를로 트리 탐색(Adaptive Branching Monte Carlo Tree Search)의 약자로, 여러 인공지능 모델이 동시에 문제를 처리하는 알고리즘입니다. 모델들은 제안을 교환하고 개선하며, 마치 인간 팀처럼 협력합니다.
[이하 생략]标准 MCTS는 예산을 늘린 후에도 계속 개선되지만, AB-MCTS 방법과 비교하면 성공률이 현저히 낮습니다. 이러한 성능 차이는 AB-MCTS가 대규모 계산 규모에서 더 효과적으로 검색 트리의 더 유망한 분기로 검색을 유도한다는 것을 보여줍니다.
위 그림은 AB-MCTS-M과 표준 MCTS가 생성한 검색 트리의 예를 보여줍니다. 이러한 시각화는 AB-MCTS-M이 표준 MCTS보다 더 강력한 적응형 분기 특성을 가지고 있음을 보여줍니다.
이러한 적응성은 AB-MCTS-M이 전체 검색 과정에서 탐색과 활용을 유연하게 균형 잡아, 다양한 새로운 후보자를 탐색("확장 폭")하고 잠재력 있는 후보자를 최적화("깊이 파고들기")하기 위해 동적으로 예산을 할당할 수 있음을 나타냅니다.
이러한 결과는 반복 샘플링의 고유한 이점을 고려하더라도 AB-MCTS가 여전히 유망한 방법이며, 생성된 예산을 효율적으로 활용하여 다양한 시나리오에서 더 나은 결과를 얻을 수 있음을 보여줍니다.
도전적인 ARC-AGI-2 벤치마크에서 AB-MCTS는 ChatGPT, 제미니(Gemini), DeepSeek와 결합하여 ARC-AGI-2 퍼즐의 30%를 해결했으며, 최고의 독립 모델은 단 23%만 해결했습니다.
결과는 여러 경우에 서로 다른 모델의 조합만이 정확한 답을 도출할 수 있음을 보여줍니다.
자연에서 영감을 얻은 혁신의 길
AB-MCTS에 대한 위 연구는 갑자기 생겨난 것이 아니라, Sakana AI의 2024년 진화 모델 융합 작업을 기반으로 합니다. 해당 팀은 초점을 "혼합하여 창조"에서 기존의 강력한 AI를 "혼합하여 사용"하는 것으로 전환했습니다.
그들은 이렇게 말했습니다:
Sakana AI에서 우리는 항상 진화와 집단 지성과 같은 자연에서 영감을 받은 원칙을 적용하여 혁신적인 AI 시스템을 개척하는 데 전념해 왔습니다.
그들은 실제로 그렇게 했습니다:
2024년의 진화적 모델 병합뿐만 아니라, 올해 5월에 Sakana AI는 콜롬비아 대학 연구원들과 함께 다윈-괴델 머신(DGM)을 개발했습니다. 이는 고정된 목표를 위해 최적화되지 않고, 생물 진화와 과학적 발견에서 영감을 얻어 개방형 검색과 지속적인 자기 수정을 통해 새로운 솔루션을 생성하는 AI 프레임워크입니다.
최근에는 두 물리학자가 생물 시스템의 자기 조립 과정을 참고하여 확산 모델의 "창의성" 본질을 밝혀냈습니다...
이러한 발견과 창조는 "자연에서 영감을 받은" 것의 구현입니다.
참고 링크:
[1]https://the-decoder.com/sakana-ais-new-algorithm-lets-large-language-models-work-together-to-solve-complex-problems/
[2]https://x.com/SakanaAILabs/status/1939854145856708910
본 기사는 위챗 공식 계정 "량자위"에서 가져왔으며, 작성자는 최신 과학기술에 주목하는 36kr의 허가를 받아 게시되었습니다.
