Open AI의 오픈 소스 모델 gpt-oss 정보 유출! 이는 운영 체제 시리즈 모델로, 최소 매개변수 20B, 최대 매개변수 120B 모델의 구성 파일도 유출됨: MoE 트랜스포머: 36층, 128개 전문가, Top-4 라우팅 주의력: 64개 주의력 헤드, 헤드당 64차원; GQA 총 매개변수(희소 총량) ≈ 116B 훈련/기본 컨텍스트: initial_context_length: 4096 RoPE 긴 컨텍스트 확장: 사용 가능한 컨텍스트를 약 4096×32 ≈ 131k 토큰으로 확장 가능 슬라이딩 윈도우 주의력: sliding_window: 128은 주로 로컬 주의력 윈도우 128을 사용함을 의미 KV 캐시 점유: 토큰당 각 층의 K+V 요소 수 ≈ 72 KB/토큰. GQA로 점유를 크게 줄임. 요약: 대규모 희소 MoE(총 매개변수 ~116B, 활성 ~5.1B)의 긴 컨텍스트 모델(~128k 수준, NTK RoPE 포함), 메모리 및 계산 감소를 위해 GQA + 슬라이딩 윈도우 주의력 사용; 주의력 투영을 숨겨진 차원보다 넓게 하여 용량 증가. 높은 처리량과 긴 텍스트 시나리오에 적합하며, 디코딩 측면에서 우수한 KV 오버헤드 및 병렬 특성을 가짐.