DeepSeek이 돌아왔습니다! "확장 가능한 조회를 통한 조건부 메모리: 대규모 언어 모델을 위한 새로운 희소성 축" 이 논문에서는 현대화된 해시 N-그램 임베딩을 기반으로 하는 O(1) 조회 방식 메모리를 추가하는 모듈인 Engram을 소개합니다. 기계적 분석에 따르면 Engram은 정적 패턴의 초기 계층 재구성 필요성을 줄여, 중요한 부분(추론)에서 모델을 효과적으로 "더 깊게" 만들어줍니다. 논문: github.com/deepseek-ai/Engram/...…