Hôm nay chúng tôi phát hành Trinity Large, một mô hình LLM có chỉ số MoE 400B với 13 tỷ tham số hoạt động, được huấn luyện trên 17 nghìn tỷ token.
Mô hình cơ bản có hiệu năng tương đương với GLM-4.5 Base, đồng thời nhanh hơn đáng kể trong việc suy luận vì nó thưa hơn và là mô hình lai.
Công trình kiến trúc mà chúng tôi lựa chọn là một trong những công trình tôi yêu thích nhất:
