Công ty deep learning Deci đã tiết lộ DeciCoder, một mô hình nền tảng dựa trên AI tổng quát mới có thể tạo mã bằng nhiều ngôn ngữ lập trình khác nhau. Theo công ty, mô hình này có 1 tỷ tham số và cửa sổ ngữ cảnh lớn gồm 2048 mã thông báo, cho phép nó tạo ra các đoạn mã đa dạng và chất lượng cao.
Yonatan Geifman, Giám đốc điều hành và đồng sáng lập của Deci, nói với Metaverse Post rằng chi phí suy luận mô hình là một vấn đề lớn đối với các ứng dụng AI tổng quát như tạo mã. Chi phí cao chủ yếu là do kích thước của mô hình này, yêu cầu tính toán và cường độ bộ nhớ của các mô hình ngôn ngữ lớn (LLM) cơ bản. Kết quả là, việc tạo nhanh đòi hỏi phần cứng cao cấp đắt tiền.
Geifman nói với Metaverse Post: “Một giải pháp để chống lại những chi phí cắt cổ này và giảm chi phí suy luận xuống gấp 4 lần là phát triển các mô hình hiệu quả hơn”. “Những mô hình này phải có khả năng suy luận nhanh trên phần cứng giá cả phải chăng hơn mà không làm giảm độ chính xác. Đó chính xác là những gì DeciCoder làm và nó nổi bật về mặt này.”
Công ty cho biết khi chạy trên A10G của NVIDIA, một phần cứng rẻ hơn, tốc độ suy luận của DeciCoder vượt trội so với SantaCoder, model phổ biến nhất trong phạm vi 1 tỷ tham số, chạy trên A100 đắt tiền hơn của NVIDIA. Hơn nữa, DeciCoder trên A10 nhanh hơn 3,5 lần so với SantaCoder trên A10 và nhanh hơn 1,6 lần so với SantaCoder trên A100.
Geifman khẳng định DeciCoder cũng mang lại độ chính xác vượt trội. Mô hình này vượt trội hơn SantaCoder về độ chính xác trên cả ba ngôn ngữ lập trình mà cả hai đều được đào tạo: Python, JavaScript và Java.
Ông nói rằng mô hình tổng quát mang lại chi phí suy luận thấp hơn đáng kể khi được sử dụng với công cụ Suy luận của Deci: giảm 71,4% chi phí trên 1.000 mã thông báo so với hiệu suất của SantaCoder trên Điểm cuối suy luận HuggingFace.
“DeciCoder giảm chi phí tính toán trong quá trình suy luận bằng cách cho phép doanh nghiệp di chuyển khối lượng công việc tạo mã của họ sang phần cứng rẻ hơn mà không làm giảm tốc độ hoặc độ chính xác hoặc tạo ra nhiều mã hơn trong thời gian GPU ít hơn,”
Geifman chia sẻ.
Hơn nữa, khi kết hợp với Infery (thư viện tăng tốc suy luận của Deci) trên GPU A10G, DeciCoder được cho là hỗ trợ giảm thiểu lượng khí thải carbon. Công ty khẳng định rằng họ giảm lượng khí thải carbon hàng năm xuống 324 kg CO2 trên mỗi phiên bản mẫu so với SantaCoder trên phần cứng giống hệt nhau.
Thúc đẩy việc tạo mã với các điểm chuẩn ấn tượng
Geifman giải thích rằng hai điểm khác biệt chính về công nghệ đang góp phần nâng cao Xuất lượng và giảm mức sử dụng bộ nhớ của DeciCoder: Kiến trúc đổi mới mô hình của DeciCoder và việc sử dụng thư viện tăng tốc suy luận của DeciCoder.
Ông nói: “Kiến trúc của Deci được tạo ra bởi công nghệ Tìm kiếm Kiến trúc Thần kinh độc quyền của nó, AutoNAC, đã tạo ra nhiều mô hình nền tảng hiệu quả cao trong cả thị giác máy tính và NLP”. “Thiết kế nội tại của kiến trúc mô hình mang lại cho DeciCoder Xuất lượng và độ chính xác vượt trội. Mặc dù DeciCoder, giống như các mô hình GPT của SantaCoder và OpenAI, dựa trên kiến trúc máy biến áp, nhưng nó lại khác biệt trong cách triển khai duy nhất của Chú ý truy vấn theo nhóm (GQA).
GPT-3, SantaCoder và StarCoder sử dụng Chú ý nhiều truy vấn thay vì Chú ý nhiều đầu để nâng cao hiệu quả, dẫn đến suy luận nhanh hơn. Tuy nhiên, hiệu quả này phải trả giá bằng chất lượng và độ chính xác giảm so với Chú ý nhiều đầu.
GQA của Deci tạo ra sự cân bằng vượt trội giữa độ chính xác và hiệu quả so với Chú ý nhiều truy vấn. Nó duy trì mức hiệu quả tương tự trong khi mang lại độ chính xác được cải thiện đáng kể.
Sự khác biệt trở nên rõ ràng hơn khi so sánh DeciCoder và SantaCoder, cả hai đều được triển khai trên Điểm cuối suy luận HuggingFace. DeciCoder đạt được Xuất lượng cao hơn 22% và thể hiện độ chính xác được cải thiện, như thể hiện trong biểu đồ thứ hai và biểu đồ sau.
Deci cho biết thư viện tăng tốc suy luận LLM của họ, Infery, sử dụng các kỹ thuật kỹ thuật độc quyền tiên tiến do nhóm nghiên cứu và kỹ thuật của công ty phát triển để tăng tốc suy luận.
Công ty tuyên bố rằng những điều này dẫn đến tăng thêm Xuất lượng và có thể được áp dụng cho bất kỳ LLM nào, ngoại trừ Deci. Hơn nữa, công ty cho biết Infery tương đối dễ sử dụng, cho phép các nhà phát triển sử dụng các kỹ thuật phức tạp, tiên tiến chỉ với một vài dòng mã.
Sử dụng AutoNAC để cân bằng tối ưu giữa độ chính xác và tốc độ
Theo Geifman, việc tìm kiếm kiến trúc mạng lưới thần kinh “tối ưu” trước đây là một quá trình khám phá thủ công tốn nhiều công sức. Mặc dù cách tiếp cận thủ công này thường mang lại kết quả nhưng nó rất tốn thời gian và thường Short xác định được mạng lưới thần kinh hiệu quả nhất.
“Cộng đồng AI đã công nhận lời hứa của Tìm kiếm Kiến trúc Thần kinh (NAS) như một công cụ thay đổi cuộc chơi tiềm năng, tự động hóa sự phát triển của các mạng thần kinh vượt trội. Tuy nhiên, nhu cầu tính toán của các phương pháp NAS truyền thống đã hạn chế khả năng tiếp cận của chúng đối với một số tổ chức có nguồn lực khổng lồ,”
Geifman nói với Metaverse Post.
Deci tuyên bố rằng tính năng “AutoNAC” của nó có thể đơn giản hóa các quy trình của NAS bằng cách cung cấp một phương pháp tính toán hiệu quả để tạo ra các thuật toán do NAS tạo ra, thu hẹp khoảng cách giữa tiềm năng và tính khả thi.
Công ty giải thích rằng AutoNAC là một thuật toán lấy các đặc điểm tập dữ liệu cụ thể đầu vào, tác vụ mô hình, mục tiêu hiệu suất và môi trường suy luận, đồng thời tạo ra mạng thần kinh tối ưu mang lại sự cân bằng tốt nhất giữa độ chính xác và tốc độ suy luận cho các yêu cầu cụ thể.
Ngoài các mô hình phát hiện đối tượng như Yolo-NAS , AutoNAC đã tạo ra các mô hình dựa trên máy biến áp cho các tác vụ NLP ( DeciBert ) và các tác vụ thị giác máy tính ( NAS SegFormer ).
Công ty đã thông báo rằng việc triển khai DeciCoder là sản phẩm đầu tiên trong một loạt các bản phát hành rất được mong đợi, phác thảo sản phẩm Generative AI của Deci, dự kiến sẽ được phát hành trong vài tuần tới.
DeciCoder và các trọng số được đào tạo trước của nó hiện có sẵn theo Giấy phép Apache 2.0 cho phép, cấp cho các nhà phát triển quyền sử dụng rộng rãi và định vị mô hình cho các ứng dụng thương mại, trong thế giới thực.
Đọc thêm:
- LLaMa với 7 tỷ tham số đạt được khả năng suy luận nhanh như chớp trên chip Apple M2 Max
- Các chi tiết bị rò rỉ của GPT-4 làm sáng tỏ quy mô khổng lồ và kiến trúc ấn tượng của nó
- ChatGPT đánh bại Chatbot Trung Quốc Ernie ở tất cả các điểm chuẩn AI
Bài đăng Deci tiết lộ DeciCoder giúp dễ dàng phát triển mã bằng AI sáng tạo xuất hiện đầu tiên trên Metaverse Post .
