One of my favorite findings: Positional embeddings are just training wheels. They help convergence but hurt long-context generalization.
We found that if you simply delete them after pretraining and recalibrate for < 1% of the original budget, you unlock massive context windows.

Introducing DroPE: Extending the Context of Pretrained LLMs by Dropping Their Positional Embeddings
https://pub.sakana.ai/DroPE/
We are releasing a new method called DroPE to extend the context length of pretrained LLMs without the massive compute costs usually associated with

Sakana AI

Twitter

Một trong những phát hiện yêu thích của tôi: Các embedding vị trí chỉ là công cụ hỗ trợ ban đầu. Chúng giúp hội tụ nhưng lại cản trở khả năng khái quát hóa trong ngữ cảnh dài.

Chúng tôi nhận thấy rằng nếu bạn chỉ cần xóa chúng sau khi huấn luyện trước và hiệu chỉnh lại với chưa đến 1% ngân sách ban đầu, bạn sẽ mở khóa được các cửa sổ ngữ cảnh khổng lồ.

Giá Bitcoin đã chạm mốc 60.000 đô la vào tuần trước. Theo mô hình lợi nhuận giảm dần, đây không chỉ là sự biến động nhỏ. Thị trường đang chạm đến điểm dễ tổn thương nhất trong toàn bộ chu kỳ bốn năm và khuôn khổ tăng trưởng theo hàm logarit.
Với mức tăng trưởng ở đỉnh chu kỳ Bitcoin đã bị thu hẹp đáng kể, một điều chỉnh hồi độ sâu hơn nữa lịch sử sẽ hoàn toàn làm mất đi sức hấp dẫn của các chu kỳ kinh điển của nó.
Đây không phải là dự đoán; đây là một định luật toán học.
Sự chuyển động đi lên ở đỉnh của chu kỳ đang bị nén lại.
Các đỉnh cao lịch sử Bitcoin qua các chu kỳ khác nhau:
• 2013: ~1.242 đô la • 2017: ~19.700 đô la • 2021: ~...

55.000 đô la sẽ là cứu cánh cho Bitcoin.

Chính phủ vừa ban hành Nghị quyết số 23/NQ-CP sau phiên họp Chính phủ thường kỳ tháng 1/2026, trong đó nhấn mạnh yêu cầu điều hành chính sách tiền tệ chủ động, linh hoạt và hiệu quả, phối hợp chặt chẽ...

Chính phủ Việt Nam thúc đẩy vận hành sàn giao dịch vàng và tài sản mã hóa trước 28/2/2026

Lịch TGE / ICO đang dày lên rất nhanh. Nếu bạn theo dõi launch, ICO hoặc TGE, đây là danh sách nên lưu lại. Nhiều cái tên quen mặt chuẩn bị ra mắt chỉ trong vài tuần tới.
Các mốc đáng chú ý trong thán...