지난주, 중국의 DeepSeek R1 모델이 해외 AI계 전체를 뒤흔들었습니다.
한편으로는 더 낮은 학습 비용으로 OpenAI o1과 비교 가능한 성능을 달성하여 엔지니어링 역량과 규모 혁신에서 중국의 우위를 보여주었습니다. 다른 한편으로는 오픈 소스 정신을 지지하고 기술적 세부 사항을 공유하고자 합니다.
최근 캘리포니아대 버클리 캠퍼스 박사과정생인 판지아이(Jiayi Pan) 연구팀은 DeepSeek R1-Zero의 핵심 기술인 '깨달음의 순간'을 매우 저렴한 비용(30달러 미만)으로 재현하는 데 성공했습니다.
그래서 Meta CEO인 주커버그, 튜링상 수상자인 얀 르쿤, Deepmind CEO인 데미스 하사비스가 모두 DeepSeek을 극찬한 것도 당연한 일입니다.
DeepSeek R1의 인기가 계속 상승함에 따라, 오늘 오후 DeepSeek 앱은 사용자 트래픽 급증으로 인해 잠시 서버가 막혔고 심지어 한 시점에서는 "충돌"하기도 했습니다.
OpenAI의 CEO 샘 알트먼은 국제 언론의 헤드라인을 장식하기 위해 o3-mini 사용 할당량을 공개하려고 했습니다. ChatGPT Plus 회원은 하루에 100번 쿼리를 실행할 수 있습니다.
하지만 잘 알려지지 않은 사실은 DeepSeek의 모회사인 Huanfang Quantitative가 유명해지기 전에 실제로 국내 양적 private equity 분야의 선도 기업 중 하나였다는 것입니다.
DeepSeek 모델, 실리콘 밸리에 충격을 주었고 그 가치는 계속 상승 있다
2024년 12월 26일, DeepSeek은 DeepSeek-V3 대형 모델을 공식 출시했습니다.
이 모델은 다양한 벤치마크 테스트에서 좋은 성능을 보이며, 특히 지식 질의 응답, 장문 텍스트 처리, 코드 생성 및 수학적 기능 분야에서 업계의 주류 상위 모델을 앞지르고 있습니다. 예를 들어, MMLU와 GPQA와 같은 지식 과제에서 DeepSeek-V3의 성능은 국제적으로 가장 우수한 모델인 Claude-3.5-Sonnet과 비슷합니다.
수학 능력 측면에서는 AIME 2024, CNMO 2024 등의 테스트에서 새로운 기록을 세웠으며, 알려진 모든 오픈 소스 및 클로즈드 소스 모델을 능가했습니다. 동시에, 생성 속도는 이전 세대에 비해 200% 증가하여 60TPS에 도달하여 사용자 경험이 크게 향상되었습니다.
독립적인 평가 웹사이트 Artificial Analysis의 분석에 따르면, DeepSeek-V3는 여러 핵심 지표에서 다른 오픈소스 모델을 능가하며 성능 면에서는 세계 최고의 클로즈드소스 모델인 GPT-4o와 Claude-3.5-Sonnet과 동등합니다.
DeepSeek-V3의 핵심 기술적 장점은 다음과 같습니다.
1. Mixture of Experts(MoE) 아키텍처: DeepSeek-V3에는 6710억 개의 매개변수가 있지만 실제 작동에서는 각 입력이 370억 개의 매개변수만 활성화합니다. 이 선택적 활성화 방법은 높은 성능을 유지하면서도 계산 비용을 크게 줄입니다.
2. 멀티헤드 잠재 주의(MLA): 이 아키텍처는 DeepSeek-V2에서 검증되었으며 효율적인 학습 및 추론을 달성할 수 있습니다.
3. 보조 손실 없는 부하 분산 전략: 이 전략은 부하 분산이 모델 성능에 미치는 부정적인 영향을 최소화하는 것을 목표로 합니다.
4. 다중 토큰 예측 학습 목표: 이 전략은 모델의 전반적인 성능을 개선합니다.
5. 효율적인 학습 프레임: HAI-LLM 프레임 채택하여 16방향 파이프라인 병렬 처리(PP), 64방향 전문가 병렬 처리(EP), ZeRO-1 데이터 병렬 처리(DP)를 지원하고 다양한 최적화 방법을 통해 학습 시간을 단축합니다. 비용.
더 중요한 점은 DeepSeek-V3의 학습 비용이 불과 558만 달러에 불과하다는 점입니다. 이는 최대 7,800만 달러에 달하는 학습 비용을 가진 GPT-4보다 훨씬 낮습니다. 게다가 API 서비스의 가격도 예전처럼 저렴합니다.
입력 토큰의 비용은 백만 개당 0.5위안(캐시 적중) 또는 2위안(캐시 미스)에 불과하고, 출력 토큰의 비용은 백만 개당 8위안에 불과합니다.
파이낸셜 타임즈는 이를 "국제 기술 커뮤니티에 충격을 준 다크호스"라고 묘사하며, 이 모델의 성과는 OpenAI와 같은 자금력이 풍부한 미국 경쟁업체의 모델과 유사하다고 주장했습니다. Maginative 창립자 크리스 맥케이는 DeepSeek-V3의 성공이 기존 AI 모델 개발 방법을 새롭게 정의할 수 있을 것이라고 지적했습니다.
다시 말해, DeepSeek-V3의 성공은 해시레이트 수출에 대한 미국의 제한에 대한 직접적인 대응으로 여겨지기도 합니다. 이러한 외부 압력은 중국의 혁신을 자극했습니다.
저장대학 출신의 로우키 천재, DeepSeek의 창립자 량원펑
DeepSeek의 부상은 실리콘 밸리를 불안하게 만들었습니다. 글로벌 AI 산업을 뒤흔든 이 모델의 창립자인 량원펑은 전통적인 중국적 의미에서 천재의 성장 궤적을 완벽하게 해석했습니다. 즉, 어린 나이에 성공을 거두고 더 시간이 지남에 따라 혁신적이었습니다.
훌륭한 AI 회사의 리더는 기술과 사업을 모두 이해하고, 비전과 실용성을 모두 갖춰야 하며, 혁신에 대한 용기와 엔지니어링 분야 지식을 모두 갖춰야 합니다. 이런 종류의 복합적인 재능 자체가 귀중한 자원이다.
17세에 그는 정보 및 전자 공학 전공으로 저장 대학에 입학했습니다. 30세에 그는 Hquant를 설립하고 팀을 이끌고 완전 자동 양적 거래를 탐구하기 시작했습니다. 량원펑의 이야기는 천재들은 항상 올바른 시기에 올바른 일을 한다는 것을 증명합니다.
· 2010년: CSI 300 주가 지수 선물 출시로 양적 투자가 개발 기회를 가져왔습니다. Huanfang 팀은 이 기회를 활용했고 자체 자금이 빠르게 성장했습니다.
· 2015년: 양원풍은 동문들과 함께 환팡퀀트를 공동 창립했습니다. 이듬해 회사는 첫 번째 AI 모델을 출시하고 딥러닝으로 생성된 거래 포지션 출시했습니다.
· 2017년: Huanfang Quantitative는 투자 전략에 AI를 완전히 도입했다고 발표했습니다.
· 2018년: AI를 회사의 주요 개발 방향으로 설정했습니다.
· 2019년 : 펀드 관리 규모가 100억 위안을 돌파하여 국내 양적 private equity'빅4' 중 하나가 되었습니다.
· 2021년: 환팡퀀티티브는 규모 1,000억을 돌파한 중국 최초의 private equity 펀드가 되었습니다.
회사가 성공한 지난 몇 년 동안 회사가 어려움을 겪었던 날만 기억할 수는 없습니다. 하지만 양적 거래 기업이 AI로 전환되는 것과 마찬가지로 이는 예상치 못한 일처럼 보이지만 실제로는 자연스러운 일입니다. 이는 모두 데이터 중심의 기술 집약적 산업이기 때문입니다.
황런쉰은 단지 게임용 그래픽 카드를 팔고 우리 게이머들로부터 약간의 돈을 벌고 싶었을 뿐, 세계 최대의 AI 무기고가 될 줄은 몰랐습니다. 황팡이 AI 분야에 진출한 것도 매우 비슷합니다. 이러한 발전은 현재 많은 산업이 대규모 AI 모델을 기계적으로 적용하는 관행보다 더 중요합니다.
Huanfang Quant는 양적 투자 과정에서 데이터 처리 및 알고리즘 최적화에 대한 대량 경험을 축적했습니다. 또한 대량 A100 칩을 보유하고 있어 AI 모델 학습을 위한 강력한 하드웨어 지원을 제공합니다. Huanfang Quant는 2017년부터 대규모로 AI 해시레이트 배치하고 "Firefly 1" 및 "Firefly 2"와 같은 고성능 컴퓨팅 클러스터를 구축하여 AI 모델 교육을 위한 강력한 해시레이트 지원을 제공했습니다.
2023년, 환팡퀀트는 공식적으로 DeepSeek을 설립하여 대규모 AI 모델의 연구 개발에 집중했습니다. DeepSeek은 Magic Square Quantitative의 축적된 기술, 인재, 리소스를 물려받아 빠르게 AI 분야에서 두각을 나타냈습니다.
DeepSeek 설립자 양원펑은 "언더커런트"와의 심층 인터뷰에서 독특한 전략적 비전을 보여주었습니다.
라마 아키텍처를 모방하는 대부분 중국 기업과 달리 DeepSeek은 모델 구조에서 바로 시작하여 AGI의 거대한 목표만을 목표로 합니다.
량원펑은 현재의 격차를 숨기지 않았습니다. 중국의 AI와 세계 최고 수준 사이에는 상당한 격차가 있습니다. 모델 구조, 훈련 역학 및 데이터 효율성의 결합된 격차는 동일한 효과를 얻기 위해 4배의 해시레이트 필요합니다.
도전에 정면으로 맞서는 이러한 자세는 양원펑이 환방에서 오랜 세월 쌓아온 경험에서 비롯된 것입니다.
그는 오픈소스가 기술 공유에 관한 것일 뿐만 아니라 문화적 표현의 한 형태이기도 하며, 진정한 경쟁력은 팀의 지속적인 혁신 능력에 있다고 강조했습니다. DeepSeek의 독특한 조직 문화는 하향식 혁신을 장려하고, 위계를 축소하며, 인재의 열정과 창의성을 중시합니다.
팀은 주로 명문 대학 출신의 청년들로 구성되어 있으며, 자연스러운 업무 분담 모델을 채택하여 직원들이 독립적으로 탐구하고 협업할 수 있도록 했습니다. 직원을 채용할 때 우리는 전통적인 경험과 배경보다 직원의 열정과 호기심을 더 중요하게 생각합니다.
업계 전망과 관련하여, 량원펑은 AI가 응용 분야보다는 기술 혁신 측면에서 폭발적인 성장기에 있다고 생각합니다. 그는 중국은 더 독창적인 기술 혁신이 필요하며 항상 모방 단계에만 있을 수는 없다고 강조했습니다. 기술의 최전선에 설 사람이 필요합니다.
현재 OpenAI와 같은 회사가 선두를 달리고 있지만 혁신의 기회는 여전히 남아 있습니다.
Deepseek이 실리콘 밸리를 강타해 해외 AI 커뮤니티를 불안하게 만들었습니다.
DeepSeek에 대한 업계의 평가는 다양하지만, 우리는 업계 관계자들의 평가도 수집했습니다.
NVIDIA의 GEAR Lab 프로젝트 리더인 짐 팬은 DeepSeek-R1을 높이 평가했습니다.
그는 이것이 미국 기업이 아닌 기업들이 OpenAI의 원래 오픈 미션을 이행하고, 독창적인 알고리즘과 학습 곡선을 공개함으로써 영향력을 얻고 있음을 나타내는 것이며, 이는 OpenAI의 붐을 의미한다고 지적했습니다.
DeepSeek-R1은 일련의 모델을 오픈 소스로 공개할 뿐만 아니라, 모든 학습 비밀도 공개합니다. 이들은 RL 플라이휠에서 상당하고 지속적인 성장을 보여준 최초의 오픈소스 프로젝트일 것입니다.
"ASI 내부 구현"이나 "딸기 프로젝트"와 같은 전설적인 프로젝트를 통해 영향을 얻을 수도 있고, 단순히 원시 알고리즘과 Matplotlib 학습 곡선을 공개하는 것만으로도 영향을 얻을 수 있습니다.
월가의 최고 벤처 캐피털 회사인 A16Z의 설립자인 마크 앤드리슨은 DeepSeek R1이 그가 본 가장 놀랍고 인상적인 혁신 중 하나라고 믿습니다. 오픈 소스로서, 그것은 세상에 큰 선물입니다.
텐센트의 전 선임 연구원이자 베이징 대학의 인공지능 분야 박사후 연구원인 루징은 기술 축적의 관점에서 이 문제를 분석했습니다. 그는 DeepSeek이 갑자기 인기를 얻은 것이 아니라고 지적했습니다. 이는 이전 세대의 모델 버전에서 많은 혁신을 물려받았습니다. 관련 모델 아키텍처와 알고리즘 혁신은 반복적으로 검증되었으며, 업계를 뒤흔들 것은 불가피합니다.
튜링상 수상자이자 Meta의 수석 AI 과학자인 Yann LeCun은 새로운 관점을 제안했습니다.
"DeepSeek의 성과를 보고 중국이 AI 분야에서 미국을 앞지르고 있다고 생각한 사람들은 당신의 해석이 틀렸다. 올바른 해석은 "오픈소스 모델이 독점 모델을 앞지르고 있다"는 것입니다. "
Deepmind CEO Demis Hassabis의 발언은 우려의 조짐을 드러냈습니다.
"그것이 이룬 성과는 매우 인상적이며, 저는 우리가 서구의 첨단 모델보다 앞서 나가는 방법에 대해 생각해야 한다고 생각합니다. 저는 서구의 첨단 모델이 여전히 앞서 있다고 생각하지만, 중국은 확실히 매우 강력한 엔지니어링 및 확장 역량을 가지고 있습니다."
Microsoft CEO Satya Nadella는 스위스 다보스에서 열린 세계경제포럼에서 DeepSeek이 추론 컴퓨팅에서 좋은 성능을 보일 뿐만 아니라 매우 높은 슈퍼컴퓨팅 효율성을 가진 오픈소스 모델을 효과적으로 개발했다고 말했습니다.
그는 마이크로소프트가 중국의 이러한 획기적인 발전에 최대한 주의를 기울여야 한다고 강조했습니다.
메타 CEO 주커버그의 평가는 더 심층적이었다. 그는 DeepSeek이 보여준 기술력과 성과가 인상적이라고 믿었고, 중국과 미국의 AI 격차가 최소화되었고, 중국의 총력전이 경쟁이 더욱 치열해졌습니다.
경쟁사들의 반응은 DeepSeek에 대한 가장 좋은 인식일 수 있습니다. 익명 직장 커뮤니티 TeamBlind의 Meta 직원에 따르면, DeepSeek-V3와 R1의 등장으로 Meta의 생성 AI 팀은 당황하게 되었다고 합니다.
Meta의 엔지니어들은 DeepSeek의 기술을 분석하고 가능한 모든 기술을 복제하기 위해 노력하고 있습니다.
그 이유는 DeepSeek-V3의 훈련 비용이 불과 558만 달러에 불과해 일부 메타 임원의 연봉보다도 적기 때문이다. 이러한 투입-산출 비율의 불균형은 Meta의 경영진이 막대한 AI 연구개발 예산을 설명하는 데 큰 압박을 줍니다.
국제 주요 매체들도 DeepSeek의 부상에 주목하고 있습니다.
파이낸셜 타임즈는 DeepSeek의 성공이 "AI 연구 개발은 막대한 투자에 의존해야 한다"는 기존 인식을 뒤집었으며, 정밀한 기술적 경로로도 뛰어난 연구 성과를 달성할 수 있음을 증명했다고 지적했습니다. 더욱 중요한 점은, DeepSeek 팀이 기술 혁신을 사심없이 공유한 덕분에 연구 가치에 더 집중하는 이 회사가 예외적으로 강력한 경쟁자가 되었다는 것입니다.
이코노미스트는 중국이 AI 기술에서 비용 대비 효율성을 빠르게 혁신하면서 미국의 기술적 우위가 흔들리기 시작했다고 보도했으며, 이로 인해 향후 10년 동안 미국의 생산성 향상과 경제 성장 잠재력이 영향을 받을 수 있다고 덧붙였다.
뉴욕 타임스는 이 문제에 대해 다른 각도에서 접근했습니다. DeepSeek-V3는 미국 기업의 고급 챗봇과 성능 면에서 비슷하지만 비용은 훨씬 낮다고 말했습니다.
이는 칩 수출 통제에도 불구하고 중국 기업이 혁신과 자원의 효율적인 활용을 통해 경쟁할 수 있음을 보여줍니다. 게다가 미국 정부의 칩 제한 정책이 오히려 중국의 오픈소스 AI 기술 분야에서의 혁신적 발전을 촉진할 수도 있다.
DeepSeek는 "잘못된 주소를 보고"하고 GPT-4라고 주장합니다.
칭찬이 쏟아지는 가운데 DeepSeek은 논란에도 직면해 있다.
많은 외부인들은 DeepSeek이 ChatGPT와 같은 모델의 출력 데이터를 학습 과정에서 학습 자료로 사용했을 수 있다고 믿습니다. 모델 증류 기술을 통해 이러한 데이터의 "지식"은 DeepSeek의 자체 모델로 전송되었습니다.
이런 관행은 AI 분야에서는 드문 일이 아니지만, 회의론자들은 DeepSeek이 OpenAI 모델의 출력 데이터를 완전히 공개하지 않고 사용했을까 봐 우려하고 있습니다. 이는 DeepSeek-V3의 자기 인식에도 반영되는 것으로 보입니다.
이전에 일부 사용자는 모델에 신원을 물었을 때 모델이 GPT-4로 착각하는 것을 발견했습니다.
고품질 데이터는 항상 AI 개발에 중요한 요소였습니다. OpenAI조차도 데이터 수집에 대한 분쟁을 피할 수 없습니다. 인터넷에서 대량의 데이터를 크롤링하는 관행은 많은 저작권 소송으로 이어졌습니다. 지금까지 첫 번째- OpenAI와 New York Times 간의 사례 판결 최종 판결이 내려지기 전에 새로운 사례가 추가되었습니다.
이로 인해 DeepSeek은 샘 알트먼과 존 슐먼으로부터 공개적으로 비판을 받았다.
"잘 작동하는 것을 복제하는 것은 [비교적] 쉽습니다. 작동할지 모를 때 새롭고 리스크 하고 어려운 일을 하는 것은 매우 어렵습니다."
하지만 DeepSeek팀은 R1 기술 보고서에서 OpenAI 모델의 출력 데이터를 사용하지 않았다고 명시적으로 언급했으며, 강화 학습과 독특한 학습 전략을 통해 높은 성능을 달성했다고 밝혔습니다.
예를 들어, 기본 모델 학습, 강화 학습(RL) 학습, 미세 조정 등을 포함하는 다단계 학습 방법을 채택합니다. 이 다단계 순환 학습 방법은 모델이 각 단계에서 다양한 지식과 역량을 흡수하는 데 도움이 됩니다.
돈을 저축하는 것도 기술적인 일이지만 DeepSeek의 기술 장점은 다음과 같습니다.
DeepSeek-R1 기술 보고서에 언급된 주목할 만한 발견 중 하나는 R1 제로 훈련 과정 중에 발생한 "아하 순간"입니다. 모델의 중간 학습 단계에서 DeepSeek-R1-Zero는 초기 문제 해결 아이디어를 적극적으로 재평가하고 전략 최적화(예: 다양한 솔루션을 여러 번 시도)에 더 많은 시간을 할당하기 시작했습니다.
즉, 강화학습 프레임 통해 AI는 자연스럽게 인간과 유사한 추론 능력을 개발할 수 있으며, 심지어 사전 설정된 규칙의 한계를 뛰어넘을 수도 있습니다. 이를 통해 복잡한 의사 결정(의료 진단, 알고리즘 설계)에서 전략을 동적으로 조정하는 등 보다 자율적이고 적응적인 AI 모델을 개발하는 데 방향을 제시할 수 있기를 기대합니다.
동시에 많은 업계 관계자들이 DeepSeek의 기술 보고서를 심층 분석하려고 노력하고 있습니다. OpenAI의 전 공동 창립자인 Andrej Karpathy는 DeepSeek V3 출시 후 다음과 같이 말했습니다.
DeepSeek(중국의 AI 회사)는 오늘 극히 적은 예산(2048개 GPU, 2개월, 비용 600만 달러)으로 학습된 최첨단 언어 모델(LLM)을 공개적으로 출시하여 큰 화제를 모았습니다.
참고로, 이 기능을 구현하려면 일반적으로 16,000개의 GPU 클러스터가 필요하고, 오늘날 대부분의 최첨단 시스템은 약 100,000개의 GPU를 사용합니다. 예를 들어, Llama 3(매개변수 405B)은 3,080만 GPU 시간을 사용했지만, 더 강력한 모델로 보이는 DeepSeek-V3는 280만 GPU 시간(Llama 3의 계산 노력의 약 1/11)만 사용했습니다.
이 모델이 실제 테스트에서도 좋은 성과를 보인다면(예: LLM Arena 랭킹이 진행 중이고 내 빠른 테스트가 좋은 성과를 보인다면), 이는 자원이 제한된 상황에서 연구 및 엔지니어링 역량을 매우 인상적으로 보여주는 사례가 될 것입니다. 인상적인 결과입니다.
그렇다면 최첨단 LLM을 훈련하는 데 더 이상 대규모 GPU 클러스터가 필요하지 않다는 뜻인가요? 사실은 그렇지 않지만, 이는 사용하는 리소스가 낭비되지 않도록 해야 한다는 것을 보여주며, 이 예는 데이터와 알고리즘 최적화가 여전히 큰 진전으로 이어질 수 있음을 보여줍니다. 또한, 기술 보고서도 매우 흥미롭고 자세해서 읽어볼 만합니다.
DeepSeek V3의 ChatGPT 데이터 사용에 대한 논란 대면 Karpathy는 대규모 언어 모델은 본질적으로 인간과 같은 자기 인식을 갖고 있지 않으며 모델이 자신의 정체성에 올바르게 답변할 수 있는지 여부는 개발팀이 특별히 구축했는지 여부에 전적으로 달려 있다고 말했습니다. 자기 인식. 모델이 특별히 훈련되지 않은 경우 훈련 데이터에서 가장 가까운 정보를 기반으로 답변합니다.
게다가, 모델이 자신을 ChatGPT로 식별한다는 사실은 문제가 아닙니다. 인터넷에서 ChatGPT 관련 데이터가 널리 퍼져 있다는 점을 감안할 때, 이 답변은 실제로 자연스러운 "이웃 지식의 출현" 현상을 반영합니다.
Jim Fan은 DeepSeek-R1 기술 보고서를 읽은 후 다음과 같이 지적했습니다.
이 논문의 가장 중요한 관점 은 감독 학습(SFT)이 전혀 개입되지 않은 강화 학습에 의해 완전히 구동된다는 것입니다. 이 방법은 "Cold Start"를 통해 Go와 Shogi를 처음부터 마스터한 AlphaZero와 유사합니다. 그리고 체스를 인간 플레이어의 움직임을 모방하는 것.
– 강화 학습으로 쉽게 "해체"할 수 있는 학습된 보상 모델 대신, 하드코딩된 규칙에 따라 계산된 실제 보상을 사용합니다.
– 모델의 사고 시간은 훈련이 진행됨에 따라 꾸준히 증가합니다. 이는 미리 프로그래밍된 것이 아니라 자발적인 특성입니다.
– 자기성찰과 탐색적 행동 현상이 나타난다.
– PPO 대신 GRPO 사용: GRPO는 PPO에서 비평가 네트워크를 제거하고 대신 여러 샘플의 평균 보상을 사용합니다. 이는 메모리 사용량을 줄이는 간단한 방법입니다. GRPO는 2024년 2월에 DeepSeek 팀에 의해 발명되었다는 점이 주목할 만합니다. DeepSeek 팀은 정말 강력한 팀입니다.
키미도 같은 날 비슷한 연구 결과를 내놓았을 때, 짐 팬은 두 회사의 연구 결과가 비슷하다는 사실을 알게 됐다.
· 그들은 MCTS와 같은 복잡한 트리 검색 방법을 포기하고 기존의 자기 회귀 예측 방법을 사용하여 더 간단한 선형적 사고 경로로 전환했습니다.
두 가지 모두 추가 모델 복사가 필요한 가치 함수 사용을 피하여 컴퓨팅 리소스 요구 사항을 줄이고 교육 효율성을 개선합니다.
둘 다 집중적인 보상 모델링을 포기하고 가능한 한 실제 결과에 의존하여 훈련의 안정성을 보장합니다.
하지만 둘 사이에는 상당한 차이점도 있습니다.
DeepSeek는 AlphaZero 스타일의 순수 RL 콜드 스타트 방법을 사용하고 Kimik1.5는 가벼운 SFT를 사용하여 AlphaGo-Master 스타일의 워밍업 전략을 선택합니다.
DeepSeek은 MIT 프로토콜에 따라 오픈 소스화되었으며, Kimi는 멀티모달 벤치마크에서 좋은 성과를 보였습니다. 이 논문은 RL 인프라, 하이브리드 클러스터, 코드 샌드박스, 병렬 전략을 다루는 시스템 설계에 대해 더 자세히 설명합니다.
하지만 빠르게 변화하는 AI 시장에서는 선도적 우위가 덧없이 사라지는 경우가 많습니다. 다른 모범 기업은 DeepSeek의 경험으로부터 빠르게 배우고 이를 개선하며, 아마도 곧 따라잡을 수도 있습니다.
대형모델 가격전쟁의 선구자
많은 사람들이 DeepSeek에 "AI의 핀두오두오"라는 제목이 있다는 것을 알고 있지만, 이 단어의 의미가 실제로 작년에 시작된 대형 모델 가격 전쟁에서 비롯되었다는 것을 모릅니다.
DeepSeek은 2024년 5월 6일 DeepSeek-V2 오픈 소스 MoE 모델을 출시했습니다. 이 모델은 MLA(멀티 헤드 잠재 주의 메커니즘) 및 MoE(혼합 전문가 모델)와 같은 혁신적인 아키텍처를 통해 성능과 비용 측면에서 이중 혁신을 달성했습니다.
추론 비용은 토큰 100만 개당 RMB 1로 줄어들었는데, 이는 당시 Llama3 70B의 약 7분의 1, GPT-4 Turbo의 70분의 1에 해당합니다. 이러한 기술적 혁신을 통해 DeepSeek은 비용을 절감하지 않고도 매우 비용 효율적인 서비스를 제공할 수 있게 되었으며, 동시에 다른 제조업체에 엄청난 경쟁 압력을 가할 수 있게 되었습니다.
DeepSeek-V2의 출시는 연쇄 반응을 일으켰습니다. ByteDance, Baidu, Alibaba, Tencent, Zhipu AI가 뒤를 이어 대형 모델 제품의 가격을 크게 낮추었습니다. 이러한 가격 전쟁의 영향은 태평양을 건너 실리콘 밸리의 큰 관심을 끌었습니다.
그래서 DeepSeek은 "AI의 핀두오두오"라는 별칭을 얻게 됐습니다.
외부의 의심 대면 DeepSeek의 설립자인 양원펑은 Undercurrent와의 인터뷰에서 다음과 같이 답했습니다.
“사용자를 유치하는 것이 우리의 주요 목적은 아닙니다. 우리는 차세대 모델의 구조를 탐구하고 비용이 절감되었기 때문에 가격을 낮췄습니다. 반면에 우리는 API와 AI가 모두 포괄적이어야 한다고 생각합니다. "모든 사람이 저렴하게 이용할 수 있습니다."
사실, 이 가격 전쟁의 중요성은 경쟁 자체를 훨씬 넘어섭니다. 진입 임계값이 낮아짐에 따라 더 많은 회사와 개발자가 최첨단 AI에 액세스하고 적용할 수 있게 되었고, 동시에 업계 전체가 가격 책정 전략을 재고하도록 강요받았습니다. DeepSeek이 진입하기 시작했습니다. 대중의 눈에 띄고 등장하다.
레이쥔은 재능 있는 AI 소녀를 영입하기 위해 엄청난 돈을 쓴다
몇 주 전에 DeepSeek에서도 주목할 만한 인사 변경이 있었습니다.
중국 비즈니스 뉴스에 따르면 레이쥔은 수천만 달러의 연봉을 주는 뤄푸리를 성공적으로 영입해 샤오미 AI 연구실의 대형 모델 팀장이라는 중요한 임무를 맡겼다고 합니다.
뤄푸리는 2022년 환팡 퀀티티티브의 자회사인 딥시크에 합류했습니다. 그녀는 딥시크-V2와 최신 R1과 같은 중요한 보고서에서 볼 수 있습니다.
이후, 본래 B-사이드에 집중했던 DeepSeek도 C-사이드를 개발하고 모바일 애플리케이션을 출시하기 시작했습니다. 기사 작성 당시, DeepSeek 모바일 앱은 Apple 앱 스토어의 무료 앱 중 2위를 차지하여 강력한 경쟁력을 보여주었습니다.
일련의 작은 클라이맥스가 DeepSeek를 유명하게 만들었지만, 동시에 더 높은 클라이맥스도 쌓였습니다. 1월 20일 저녁, 660B 매개변수를 가진 초대형 모델 DeepSeek R1이 공식 출시되었습니다.
이 모델은 AIME 2024에서 79.8%의 합격@1 점수를 달성하는 등 수학 과제에서 좋은 성과를 거두었습니다. 이는 OpenAI-o1보다 약간 높은 수치이며, MATH-500에서는 97.3%를 기록했는데 이는 OpenAI-o1과 비슷한 수준입니다.
프로그래밍 작업 측면에서 Codeforces에서 Elo 등급 2029를 달성하여 인간 참가자의 96.3%를 넘어섰습니다. MMLU, MMLU-Pro, GPQA Diamond 등의 지식 벤치마크 테스트에서 DeepSeek R1은 각각 90.8%, 84.0%, 71.5%의 성적을 기록했습니다. 이는 OpenAI-o1보다 약간 낮지만 다른 폐쇄형 소스 모델보다 우수한 성적입니다.
LM Arena의 최신 종합 목록에서 DeepSeek R1은 o1과 공동 3위를 차지했습니다.
DeepSeek R1은 하드 프롬프트, 코딩, 수학 분야에서 1위를 차지했습니다.
스타일 컨트롤 부문에서는 DeepSeek R1과 o1이 공동 1위를 차지했습니다.
"스타일 컨트롤이 적용된 하드 프롬프트" 테스트에서도 DeepSeek R1은 o1과 동률을 이루며 1위를 차지했습니다.
오픈소스 전략 측면에서 R1은 MIT 라이선스를 채택하여 사용자에게 사용에 대한 가장 큰 자유도를 제공합니다. 추론 기능을 32B 및 70B 모델과 같은 더 작은 모델로 증류할 수 있는 모델 증류를 지원합니다. 1- mini는 많은 면에서 뛰어납니다. 오픈소스의 효과는 이전에 비판을 받았던 Meta를 능가하기도 했습니다.
DeepSeek R1의 등장으로 국내 사용자들은 처음으로 O1수준에 준하는 모델을 무료로 이용할 수 있게 되면서 오랜 정보 장벽을 깨게 됐습니다. 샤오홍슈 등 소셜 플랫폼에서 일어난 논의의 물결은 GPT-4가 처음 출시되었을 때의 물결과 유사합니다.
바다로 나가서 내면으로 들어가라
DeepSeek의 개발 궤적을 돌이켜보면 성공의 비결은 분명합니다. 강점이 기반이지만 브랜드 인지도가 경쟁력입니다.
LatePost와의 대화에서 MiniMax CEO Yan Junjie는 AI 산업과 회사의 전략적 변화에 대한 심도 있는 생각을 공유했습니다. 그는 두 가지 중요한 전환점을 강조했습니다. 기술 브랜딩의 중요성에 대한 인식과 오픈 소스 전략의 가치에 대한 이해입니다.
얀준지에 따르면 AI 분야에서는 현재의 성과보다 기술 진화 속도가 더 중요하며, 오픈 소스는 커뮤니티 피드백을 통해 이 과정을 가속화할 수 있다. 두 번째로, 강력한 기술 브랜드는 인재를 유치하고 리소스를 확보하는 데 중요하다.
예를 들어 OpenAI를 살펴보자. 후반에 경영 혼란을 겪었지만, 초창기에 구축한 혁신적 이미지와 오픈소스 정신이 첫 번째 좋은 인상을 쌓았다. 클로드가 기술적으로 OpenAI와 동등해지고 점차 OpenAI의 B-end 사용자를 잠식했지만, OpenAI는 사용자 경로 종속성으로 인해 C-end 사용자 측면에서 여전히 훨씬 앞서 있습니다.
AI 분야에서 진짜 경쟁 무대는 언제나 글로벌입니다. 해외로 나가서 내부적으로 경쟁하고 홍보하는 것은 절대적으로 좋은 방법입니다.
해외 진출의 이러한 추세는 이미 업계에 파장을 일으켰습니다. 이전의 Qwen, Mianbi Intelligence, 그리고 더 최근의 DeepSeek R1, kimi v1.5, 그리고 Doubao v1.5 Pro는 이미 해외에서 큰 반향을 일으켰습니다.
2025년은 지능형 신체의 원년, AI 안경의 원년 등 여러 가지 이름으로 불리지만, 올해는 중국 AI 기업이 글로벌 시장을 포용하는 중요한 해이기도 하며, 글로벌화는 피할 수 없는 키워드가 될 것입니다.
게다가 오픈소스 전략도 좋은 움직임으로, 대량 기술 블로거와 개발자가 자발적으로 DeepSeek의 "수돗물"이 되도록 유도합니다. 좋은 기술은 단순한 슬로건이 되어서는 안 됩니다. "모두를 위한 AI"라는 슬로건에서 진정한 기술 포용에 있어서 DeepSeek은 OpenAI보다 더 순수한 길을 택했습니다.
OpenAI가 우리에게 AI의 힘을 보여주었다면 DeepSeek은 우리에게 다음과 같은 믿음을 주었습니다.
이러한 힘은 궁극적으로 모든 사람에게 이로울 것입니다.
BlockBeats 공식 커뮤니티 블록비츠(theblockbeats) 주셔서 감사합니다.
텔레그램 구독 그룹: https://t.me/theblockbeats
텔레그램 그룹: https://t.me/BlockBeats_App
공식 트위터 계정: https://twitter.com/BlockBeatsAsia
