CFG_Labs - e/acc

CFG_Labs - e/acc

839명의 트위터 팔로워

팔로우하기

We build the deep thinking community for Web3 and AGI Contact: http://mirror.xyz/infinet.eth http://discord.gg/RDRYgnmSTd

포스팅

CFG_Labs - e/acc

중국에는 시가총액 1조 달러가 넘는 기업이 없습니다. 경쟁이 치열하기 때문입니다. 애플 하나만 있는 게 아니라 오포, 샤오미, 화웨이가 있습니다. 테슬라 하나만 있는 게 아니라 BYD, 니오, 샤오펑, 리오토가 있습니다. 아마존 하나만 있는 게 아니라 타오바오, 더우인샵, JD가 있습니다. 미국의 시가총액 1조 달러 기업들은 독점 기업으로 보호받고 있습니다. 주주들에게는 좋을지 몰라도, 소비자들은 형편없는 픽셀 폰, 버그 투성이 윈도우, 비싼 중형 테슬라, 페이스북 봇 투성이의 쓰레기 같은 제품들을 감수해야 합니다. 반면 중국 소비자들은 더 좋은 제품을 더 저렴한 가격에 구매할 수 있습니다.

“China doesn’t even have 1 company valued > 1T USD.” Now, isn’t this absolutely wonderful?! The government ensures that wealth generated accrues to the workers, the country and her people and some to the shareholders. When fairly distributed, some shareholders may become x.com/_mm85/status/2…

CFG_Labs - e/acc

DeepSeek이 돌아왔습니다! "확장 가능한 조회를 통한 조건부 메모리: 대규모 언어 모델을 위한 새로운 희소성 축" 이 논문에서는 현대화된 해시 N-그램 임베딩을 기반으로 하는 O(1) 조회 방식 메모리를 추가하는 모듈인 Engram을 소개합니다. 기계적 분석에 따르면 Engram은 정적 패턴의 초기 계층 재구성 필요성을 줄여, 중요한 부분(추론)에서 모델을 효과적으로 "더 깊게" 만들어줍니다. 논문: github.com/deepseek-ai/Engram/...…

CFG_Labs - e/acc

제가 가장 좋아하는 발견 중 하나는 위치 임베딩이 마치 훈련용 보조 바퀴와 같다는 것입니다. 위치 임베딩은 수렴에는 도움이 되지만 장기적인 컨텍스트 일반화에는 악영향을 미칩니다. 사전 학습 후 위치 임베딩을 삭제하고 원래 예산의 1% 미만으로 재보정하면 엄청난 컨텍스트 창을 활용할 수 있다는 것을 발견했습니다.

Introducing DroPE: Extending the Context of Pretrained LLMs by Dropping Their Positional Embeddings https://pub.sakana.ai/DroPE/ We are releasing a new method called DroPE to extend the context length of pretrained LLMs without the massive compute costs usually associated with

Loading..