[소개] 방금 프랑스 AI 스타트업 Mistral이 첫 번째 코드 생성 모델인 Codestral을 출시했습니다. 32K의 긴 컨텍스트 창과 80개 이상의 프로그래밍 언어를 지원할 뿐만 아니라 22B 매개변수를 사용하여 70B Llama 3와 유사한 성능을 달성합니다. 현재 사용자가 사용할 수 있는 API 및 IDE 플러그인이 공개되었습니다.
진정한 개방형 AI 기업 미스트랄(Mistral)이 조용히 신제품을 출시했다.
이번에는 80개 이상의 프로그래밍 언어와 32K 길이의 컨텍스트 창을 지원하는 최초의 코드 생성 모델인 Codestral을 출시했습니다.
벤치마크 테스트에서 놀라운 성능을 발휘했을 뿐만 아니라, 코드 생성 속도도 평가판 사용자들에게 큰 만족을 안겨주었습니다.
현재 Codestral에서는 다양한 API를 제공하고 있으며 HuggingFace에도 모델 가중치가 노출되어 있습니다.
프로젝트 주소: https://huggingface.co/mistralai/Codestral-22B-v0.1/tree/main
코드 생성 새로운 SOTA
Codestral의 훈련 데이터에는 가장 널리 사용되는 Python, Java, C, C++ 및 Bash는 물론 HTML 및 JavaScript와 같은 프런트 엔드 언어를 포함하여 80개 이상의 프로그래밍 언어가 포함되어 있습니다. 또한 Swift 및 Fortran에서도 잘 작동합니다.
모델이 수행할 수 있는 작업에는 기능별 함수 작성, 테스트 작성 및 코드 채우기가 포함됩니다.
또한 Codestral은 영어에도 능숙하기 때문에 개발자와도 상호 작용할 수 있어 엔지니어의 코딩 기술을 향상시키고 오류와 취약점을 줄이는 데 도움이 됩니다.
모델의 대화형 기능은 Le Chat 대화 인터페이스를 통해 무료로 사용할 수 있습니다.
온라인 주소: https://chat.mistral.ai/chat
22B 매개변수만 있는 모델인 Codestral은 Llama 3 70B의 4배인 32K의 긴 컨텍스트 창을 달성합니다.
Codestral은 Llama 아키텍처를 사용하지만 7개 언어의 HumanEval 점수가 CodeLlama를 초과하며 Llama 3과 연결될 수 있습니다.
RepoBench는 저장소 수준 코드 완성 작업을 평가하고 파일 전체를 검색하고 긴 컨텍스트를 이해하는 모델의 능력을 테스트하기 위한 새로운 벤치마크입니다. RepoBench에서 Codestral은 Python 언어를 사용하여 SOTA 결과를 달성했습니다.
또한 Codestral은 C++, bash, Java, PHP, Typescript 및 C#을 포함한 다른 언어 평가에서도 좋은 결과를 얻었습니다.
FIM 벤치마크는 중간 채우기 작업에서 모델 성능을 평가할 수 있지만 CodeLlama와 Llama는 이 기능을 직접 지원하지 않습니다.
FIM 작업에서 Codestral은 더 적은 수의 매개 변수를 사용하며 Python, JavaScript 및 Java의 점수는 DeepSeek Coder 33B를 초과합니다.
현재 Mistral은 개발자가 Codestral을 호출할 수 있도록 두 개의 API(codestral.mistral.ai 및 api.mistral.ai)를 공개했습니다. 전자는 8주간의 무료 테스트 기간을 가지며 후자는 토큰으로 요금을 청구합니다.
또한 Continue.dev 또는 Tabnine 플러그인을 통해 VSCode 또는 JetBrains IDE에서 Codestral 기능을 사용할 수도 있습니다.
개발자들은 이미 사용하고 있습니다.
결국 벤치마크 테스트는 참고용일 뿐입니다. 코딩 도구가 유용한지 여부는 사용해 보아야만 알 수 있습니다.
일부 네티즌들은 "80개 언어가 너무 미쳤다"며 "드디어 누군가가 스위프트를 기억했다"고 한탄했다.
그리고 실제 측정을 통해 Codestral의 코드 생성 속도가 매우 빠르고, 응답 지연도 매우 짧은 것을 확인할 수 있습니다.
GPT-4o와 Codestral은 Go에서 기본 게시/구독 시스템을 구현하는 동일한 작업을 받았습니다.
두 모델의 응답 지연 시간은 매우 짧지만 Codestral이 쓰기를 마쳤을 때 GPT-4o는 쓰기의 절반에 불과했고 생성 속도가 즉시 달랐습니다.
일부 개발자들은 Codestral이 가장 크고 최고의 코드 모델은 아니지만 여전히 Claude Opus에서 Codestral로 전환하고 있다고 분석했습니다.
모델에는 더 많은 최첨단 지식이 포함되어 있고 최신 AI 코드를 작성하는 데 도움이 될 수 있지만 ChatGPT나 Opus는 그렇게 할 수 없기 때문입니다.
그러나 일부 Python 엔지니어는 "Python 3.9 이후 버전에서는 더 이상 import List를 입력하여 사용할 필요가 없다는 것을 LLM이 이해하지 못합니다."라고 불평했습니다.
"GPT-4, GPT-4o, Claude Opus, Gemini 및 Codestral은 모두 이것을 이해하지 못합니다. 명시적으로 언급하더라도 여전히 이해하지 못합니다."
인간 프로그래머에게 남은 몇 안 되는 장점 중 하나는 "실수를 인정하자마자 바로잡는 것"인 것 같습니다.
참고자료:
https://mistral.ai/news/codestral/
이 기사는 Qiao Yanghaokong이 편집한 WeChat 공개 계정 "Xin Zhiyuan"(ID: AI_era) 에서 발췌되었으며 36 Krypton은 승인을 받아 게시되었습니다.
