내가 깨어났을 때 OpenAI에는 새로운 기능이 있었습니다.
GPT-4o는 공식적으로 미세 조정 기능을 출시합니다.
그리고 공식적으로는 다양한 혜택도 함께 제공됩니다. 각 조직은 매일 100만 개의 훈련 토큰을 무료로 받을 수 있으며, 이는 9월 23일까지 사용할 수 있습니다.
즉, 개발자는 이제 맞춤형 데이터세트로 GPT-4o를 미세 조정하여 저렴한 비용으로 자체 애플리케이션을 구축할 수 있습니다.
OpenAI는 발표에서 다음과 같이 밝혔습니다.
GPT-4o 미세 조정 훈련 비용은 1백만 토큰당 25달러입니다 (일일 25달러 절약을 의미).
메일을 받은 개발자들은 이렇게 큰 양털을 하루라도 빨리 수확해야 한다고 신이 나서 서로 이야기를 나눴습니다.
사용 방법도 매우 간단합니다. 미세 조정 대시보드에 직접 액세스하여 "생성"을 클릭한 다음 기본 모델 드롭다운 목록에서 gpt-4o-2024-08-06을 선택합니다.
그런데 OpenAI는 훈련 데이터 세트에서 수십 개의 예시 만이 좋은 결과를 낳을 수 있다고도 언급했습니다.
성공사례도 게재됐다
소식이 알려지자 많은 네티즌들은 직접 사용해 보고 싶어하며, 미세 조정 후 모델의 실제 효과를 알고 싶어 관심을 표명했습니다.
OpenAI 관계자는 오랫동안 준비해 왔으며 발표와 함께 파트너가 GPT-4o를 미세 조정한 실제 사례를 공개했습니다.
첫 번째는 소프트웨어 개발자를 지원하기 위해 설계된 AI 스타트업 Cosine의 코딩 도우미 Genie 입니다.
Cosine 관계자에 따르면 Genie의 개발 프로세스는 수십억 개의 고품질 데이터를 사용하여 비공개 GPT-4o 변형을 훈련하고 미세 조정하는 독점 프로세스를 사용합니다.
이 수치에는 JavaScript 및 Python 21%, TypeScript 및 TSX 14%, 기타 언어(Java, C++, Ruby 포함) 3%가 포함됩니다.
미세 조정 후 Genie는 지난 화요일 OpenAI가 발표한 새로운 코드 기능 벤치마크인 SWE-Bench Verified 에서 SOTA 점수 43.8% 를 달성했습니다.
동시에 Genie는 SWE-Bench Full에서 SOTA 점수 30.08% 를 달성하여 이전 SOTA 기록인 19.27%를 경신했습니다.
이에 비해 Cognition의 Devin은 일부 SWE-Bench 테스트에서 13.8%를 기록했습니다.
또 다른 예는 Fortune 500대 기업에 AI 솔루션을 제공하고 최근 선도적인 text-to-SQL 벤치마크 BIRD-SQL에서 1위를 차지한 회사인 Distyl 에서 나왔습니다.
미세 조정 후 해당 모델은 순위 목록에서 71.83% 의 실행 정확도를 달성했으며 특히 SQL 생성에서 쿼리 재구성, 의도 분류, 사고 연결 및 자체 수정과 같은 작업에서 좋은 성능을 보였습니다.
OpenAI는 사례 제공 외에도 발표에서 데이터 개인 정보 보호 및 보안 문제를 구체적으로 강조했습니다.
개발자의 업무 데이터(입력 및 출력 포함)는 다른 모델을 교육하는 데 공유되거나 사용되지 않습니다. 미세 조정된 모델에 대한 자동화된 보안 평가를 지속적으로 실행하고 사용량을 모니터링하는 등 미세 조정된 모델에 대해 계층화된 보안 완화를 구현했습니다.
네티즌 : 미세 조정은 프롬프트 단어 캐싱만큼 좋지 않습니다
흥분된 가운데 일부 네티즌들은 미세 조정이 프롬프트 단어 캐싱보다 여전히 열등하다고 믿었습니다.
미세 조정은 멋지지만 프롬프트 단어 캐싱만큼 좋지는 않습니다...
Qubits는 이전에 프롬프트 단어 캐시의 역할이 한 번에 대량 의 프롬프트를 모델에 보낸 다음 이러한 내용을 기억하고 반복 입력을 피하기 위해 후속 요청에서 직접 재사용하도록 하는 것이라고 소개했습니다.
올해 5월 Google의 Gemini는 이미 프롬프트 단어 캐싱을 지원했으며 Claude도 지난주에 이 기능을 추가했습니다.
반복적으로 스크립트를 입력할 필요가 없으므로 프롬프트 단어 캐싱은 속도가 빠르고 비용이 저렴하다는 장점이 있습니다.
일부 네티즌들은 프롬프트 단어 캐싱 기능이 개발자에게 더 친숙하고(비동기 미세 조정이 필요하지 않음) 미세 조정과 거의 동일한 이점을 얻을 수 있다고 생각합니다.
프롬프트 단어 캐싱을 사용하면 1%의 노력으로 99%의 이점을 얻을 수 있습니다.
그러나 일부 사람들은 미세 조정이 반응 형성에 더 효과적이라고 믿고 미세 조정이라고 부릅니다. 예를 들어 JSON의 형식이 올바른지 확인하고 응답을 더 간결하게 만들거나 이모티콘을 사용하는 등의 작업을 수행하세요.
OpenAI의 경쟁업체가 프롬프트 단어 캐싱을 연속적으로 사용하는 것을 보고 일부 사람들은 궁금해합니다.
OpenAI가 미세 조정을 고수할지 아니면 프롬프트 단어 캐싱(또는 둘 다)으로 이동할지 궁금합니다.
이 문제에 대해 다른 네티즌들도 몇 가지 단서를 찾아냈다.
OpenAI는 대기 시간 최적화 가이드에서 캐싱 기술을 언급합니다.
또한 입력 토큰을 줄이는 방법 에 대해 설명할 때 언급된 원본 가이드도 즉시 찾았습니다.
팁 뒷부분에 동적 부분(예: RAG 결과, 기록 등)을 배치하여 팁 접두사 공유를 최대화합니다 . 이렇게 하면 요청이 KV 캐시에 더 친숙해집니다. 즉, 요청당 처리되는 입력 토큰 수가 줄어듭니다.
그러나 일부 네티즌들은 이 문단만으로는 OpenAI가 프롬프트 단어 캐싱 기술을 사용한다고 직접 결론을 내릴 수 없다고 생각합니다.
BTY, 논란은 차치하고 OpenAI는 아직 양털을 모아야 합니다~
GPT-4o 외에도 GPT-4o mini를 무료로 미세 조정할 수도 있습니다 . OpenAI는 9월 23일 이전에 매일 200만 개의 훈련 토큰을 무료로 제공합니다.
참조 링크:
[1]https://openai.com/index/gpt-4o-fine-tuning/
[2]https://x.com/OpenAIDevs/status/1825938486568038569
[3]https://news.ycombinator.com/item?id=41301673
이 기사는 WeChat 공개 계정 "Qubit" 에서 가져온 것입니다. 작성자: Yishui, 36 Krypton은 승인을 받아 게시되었습니다.
