One of my favorite findings: Positional embeddings are just training wheels. They help convergence but hurt long-context generalization.
We found that if you simply delete them after pretraining and recalibrate for < 1% of the original budget, you unlock massive context windows.

Introducing DroPE: Extending the Context of Pretrained LLMs by Dropping Their Positional Embeddings
https://pub.sakana.ai/DroPE/
We are releasing a new method called DroPE to extend the context length of pretrained LLMs without the massive compute costs usually associated with

Sakana AI

Twitter

我最喜歡的發現之一是：位置嵌入就像輔助輪。它們有助於模型收斂，但會損害長上下文泛化能力。

我們發現，如果在預訓練後直接刪除位置嵌入，並將預算調整到原預算的不到 1%，就能解鎖巨大的上下文窗口。

貝萊德與Uniswap合作，將代幣化債券基金引入DeFi領域，推動UNI價格飆升。圖片來源：Diaro
貝萊德持續擴展其在去中心化金融（DeFi）領域的佈局，此舉為……鋪平了道路。

貝萊德與Uniswap合作，將代幣化債券基金引入DeFi領域，導致UNI價格飆升……

Polymarket 上一玩家 1 年交易 61,793 次，狂賺 10.6 萬美元。

蚊子肉，滾出 10 萬美元利潤

全球最大資產管理公司貝萊德披露將購入去中心化交易平台 Uniswap 的原生代幣 UNI。此舉不僅展現傳統金融 […]
〈貝萊德宣佈購買 Uniswap 平台幣 UNI！$UNI 跳漲 23%〉這篇文章最早發佈於動區BlockTempo《動區動趨-最具影響力的區塊鏈新聞媒體》。