Prime Intellect가 탈중앙화 형 추론 스택 미리보기를 출시했습니다.

포어사이트뉴스(Foresight News) 소식에 따르면, 탈중앙화 AI 프로토콜 Prime Intellect가 추론 스택 미리보기를 발표했습니다. 추론 스택은 자기회귀 디코딩의 계산 활용률 과제, KV 캐시 메모리 병목 현상 및 공용 네트워크 지연 문제를 해결하는 것을 목표로 합니다. 이는 파이프라인 병렬 설계를 채택하여 높은 계산 밀도와 비동기 실행을 지원합니다. 동시에 Prime Intellect는 세 가지 오픈소스 코드 라이브러리를 발표했습니다: PRIME-IROH(피어 투 피어 통신 백엔드), PRIME-VLLM(공용 네트워크 파이프라인 병렬을 지원하는 vLLM 통합) 및 PRIME-PIPELINE(연구 샌드박스). 사용자는 3090/4090 등의 GPU를 활용하여 대규모 모델을 실행할 수 있습니다.