[Giới thiệu] Vừa rồi, công ty khởi nghiệp AI của Pháp Mistral đã phát hành mô hình tạo mã đầu tiên của mình, Codestral. Nó không chỉ hỗ trợ cửa sổ ngữ cảnh dài 32K và hơn 80 ngôn ngữ lập trình mà còn đạt được hiệu suất tương tự 70B Llama 3 với tham số 22B. Hiện tại plug-in API và IDE đã được mở cho người dùng sử dụng.
Mistral, một công ty AI thực sự cởi mở, đã tung ra một sản phẩm mới một cách kín đáo.
Lần, họ phát hành mô hình tạo mã đầu tiên Codestral, hỗ trợ hơn 80 ngôn ngữ lập trình và cửa sổ ngữ cảnh dài 32K.
Nó không chỉ đạt được hiệu suất đáng kinh ngạc trong các bài kiểm tra benchmark mà tốc độ tạo mã cũng khiến người dùng thử rất hài lòng.
Hiện tại, Codestral cung cấp nhiều loại API và tỷ trọng mô hình cũng được hiển thị trên HuggingFace.
Địa chỉ dự án: https://huggingface.co/mistralai/Codestral-22B-v0.1/tree/main
Tạo mã SOTA mới
Dữ liệu đào tạo của Codestral chứa hơn 80 ngôn ngữ lập trình, bao gồm Python, Java, C, C++ và Bash phổ biến nhất, cũng như các ngôn ngữ front-end như HTML và JavaScript. Nó cũng hoạt động tốt trên Swift và Fortran.
Nhiệm vụ mà mô hình có thể thực hiện bao gồm viết các hàm dành riêng cho chức năng, viết bài kiểm tra và điền mã.
Ngoài ra, vì Codestral cũng thành thạo tiếng Anh nên nó cũng có thể tương tác với các nhà phát triển, giúp nâng cao kỹ năng viết mã của các kỹ sư và giảm thiểu các lỗi cũng như lỗ hổng bảo mật.
Các tính năng tương tác của mô hình có thể được sử dụng miễn phí thông qua giao diện đàm thoại Le Chat.
Địa chỉ trực tuyến: https://chat.mistral.ai/chat
Là mô hình chỉ có tham số 22B, Codestral đạt được cửa sổ ngữ cảnh dài 32K, gấp bốn lần so với Llama 3 70B.
Codestral sử dụng kiến trúc Llama, nhưng điểm HumanEval của nó trong bảy ngôn ngữ vượt quá CodeLlama và có thể ngang bằng với Llama 3.
RepoBench là một chuẩn mực mới để đánh giá nhiệm vụ hoàn thành mã cấp kho lưu trữ, kiểm tra khả năng truy xuất của mô hình trên các tệp và hiểu ngữ cảnh dài. Trên RepoBench, Codestral đã đạt được kết quả SOTA bằng ngôn ngữ Python.
Ngoài ra, Codestral còn đạt kết quả tốt trong đánh giá các ngôn ngữ khác, bao gồm C++, bash, Java, PHP, Typescript và C#.
Điểm chuẩn FIM có thể đánh giá hiệu suất của mô hình trong nhiệm vụ lấp đầy ở giữa, nhưng CodeLlama và Llama không hỗ trợ trực tiếp tính năng này.
Trong nhiệm vụ FIM, Codestral sử dụng ít tham số hơn và điểm số của nó trong Pyhon, JavaScript và Java vượt quá DeepSeek Coder 33B.
Hiện tại, Mistral đã mở hai API để các nhà phát triển gọi Codestral là Codetral.mistral.ai và api.mistral.ai. API trước có thời gian thử nghiệm miễn phí 8 tuần và API sau tính phí bằng token.
Ngoài ra, bạn cũng có thể sử dụng các hàm Codestral trong VSCode hoặc JetBrains IDE thông qua plug-in Continue.dev hoặc Tabnine.
Các nhà phát triển đã sử dụng
Suy cho cùng, các bài kiểm tra điểm chuẩn chỉ tham khảo. Bạn chỉ có thể biết công cụ mã hóa này có hữu ích hay không bằng cách dùng thử.
Một số cư dân mạng than thở rằng "80 ngôn ngữ thật điên rồ" và "cuối cùng cũng có người nhớ đến Swift".
Và qua đo thực tế có thể thấy tốc độ tạo mã của Codestral rất nhanh và độ trễ phản hồi cũng rất ngắn.
GPT-4o và Codestral được giao nhiệm vụ giống nhau là triển khai hệ thống xuất bản/đăng ký cơ bản trong Go.
Mặc dù độ trễ phản hồi của cả hai mẫu đều rất ngắn nhưng khi Codestral viết xong, GPT-4o mới viết được nửa chặng đường và tốc độ tạo ra ngay lập tức khác nhau.
Một số nhà phát triển phân tích rằng mặc dù Codestral không phải là mô hình mã lớn nhất và tốt nhất nhưng họ vẫn chuyển từ Claude Opus sang Codestral.
Bởi vì mô hình này chứa đựng nhiều kiến thức tiên tiến hơn và có thể giúp viết mã AI mới nhất, nhưng cả ChatGPT và Opus đều không thể làm được điều đó.
Nhưng một số kỹ sư Python phàn nàn: "Không LLM nào hiểu rằng trong các phiên bản sau Python 3.9, không còn cần thiết phải sử dụng from gõ import List nữa."
"GPT-4, GPT-4o, Claude Opus, Gemini và Codestral đều không hiểu được điều này. Dù có nói rõ ràng thì họ vẫn không hiểu."
Có vẻ như một vài ưu điểm còn lại của lập trình viên con người là "sửa lỗi khi biết".
Tham khảo:
https://mistral.ai/news/codestral/
Bài viết này xuất phát từ tài khoản công khai WeChat "Xin Zhiyuan" (ID: AI_era) , do Qiao Yanghaokong biên tập và 36 Krypton được xuất bản với sự cho phép.
