저자: elizeliu
원본: R3PO
최근 AI 분야에서 투자와 인수 물결이 일고 있다. 세계적인 기업 세일즈포스(Salesforce)는 앤트로픽(Anthropic)에 4억 5천만 달러를 투자했고, 런웨이(Runway)는 1억 4,100만 달러의 자금 조달에 성공했습니다. 이밖에도 스노우플레이크는 니바 인수 완료를 발표했고, 중국 국내 거대 기업 메이투안은 AI 기업 라이트 이어즈 어웨이(Light Years Away)를 20억6500만 달러에 인수했다.
그러나 가장 주목받는 거래는 의심할 여지 없이 스타트업인 모자이크ML(MosaicML)의 인수이다. 모자이크ML은 이번 거래로 거대 데이터업체 데이터브릭스(Databricks)에 약 13억 달러에 인수된 것으로 알려졌다. 설립된 지 2년밖에 안 됐고 직원 수는 60명이 넘습니다. 모자이크ML의 높은 가치를 뒷받침하는 것은 무엇일까요?
Databricks, 생성 AI 기술의 민주화를 가속화하기 위해 모자이크ML 인수
Databricks는 최근 기업에 ChatGPT와 유사한 도구를 구축하기 위한 서비스를 제공하기 위해 생성 인공 지능 스타트업인 mosaicML을 약 13억 달러(약 93억 위안)에 인수했다고 공식 발표했습니다.
인수 후, mosaicML은 Databricks Lakehouse 플랫폼의 일부가 될 것입니다. mosaicML의 전체 팀과 기술은 Databricks에 통합되어 기업에 데이터 자산을 관리할 수 있는 통합 플랫폼과 자체 독점 데이터를 사용하여 구축, 소유 및 보호할 수 있는 기능을 제공할 것입니다. 자신만의 생성 AI 모델입니다.
모자이크ML(MosaicML)은 2021년 샌프란시스코에서 설립된 아주 젊은 생성형 AI 회사다. 이 회사는 단 한 차례 융자 공개했으며 직원 수는 62명에 불과하다. 마지막 융자 라운드에서 그 가치는 미화 2억 2천만 달러였으며 이는 mosaicML의 가치가 6배로 직접적으로 뛰어올랐다는 것을 의미합니다. 이번 거래는 올해 들어 지금까지 생성 AI 분야에서 발표된 인수 중 최대 규모다. 얼마 전, 클라우드 컴퓨팅 거대 기업인 Snowflake는 또 다른 생성 AI 회사인 Neeva를 인수한다고 발표했습니다. 몇 달 간의 열광적인 투자 끝에, 생성 AI 스타트업에 대한 대규모 기업 인수 물결이 시작된 것으로 보입니다.
Databricks는 UC Berkeley에서 시작되었으며 Apache Spark 프로젝트 개발에 참여했습니다. 데이터 저장 및 분석 거대 기업으로 2022년 기준 310억 달러 가치로 평가되며 AT&T, Shell, Walgreens 등 대기업의 데이터 처리를 지원합니다. 얼마 전 우리는 더 적은 수의 매개변수를 사용하여 ChatGPT와 유사한 효과를 달성하는 것을 목표로 하는 대규모 모델 Dolly를 오픈 소스로 공개했습니다. 클라우드 컴퓨팅이 대중화되자 스파크가 제안한 '레이크와 웨어하우스 통합' 개념은 수많은 빅데이터 스타트업에 깊은 영향을 미쳤다. 데이터브릭스는 2013년 설립 이후 세계에서 가장 인기 있는 데이터 인프라 기업으로 빠르게 성장했습니다. 지난해 Databricks는 미화 10억 달러 이상의 연간 수익을 보고했으며, 2021년 8월에 최근 융자 완료한 후 최근 가치 평가액은 미화 380억 달러에 달했습니다.
mosaicML MPT 시리즈 모델의 장점
mosaicML의 MPT 시리즈 모델은 HuggingFace PretrainedModel 기본 클래스에서 하위 클래스로 분류되며 HuggingFace 생태계와 완벽하게 호환됩니다. MPT-7B 모델은 수십억 개의 매개변수를 포함하고 2,000개 이상의 자연어 처리 작업을 처리할 수 있는 모자이크ML의 가장 인기 있는 모델 중 하나입니다. 그중 MPT-7B의 최적화 계층에는 FlashAttention 및 저정밀도 계층 표준이 포함되어 있어 모델을 기존 교육 방법보다 2~7배 더 빠르게 만들 수 있습니다. 리소스의 선형에 가까운 확장성은 수십억 개의 매개변수가 있는 모델을 보장합니다. 며칠이 아닌 몇 시간 안에 훈련하세요. mosaicML은 또한 300억 개의 매개변수를 갖고 GPT-3보다 성능이 뛰어난 새로운 상용 오픈 소스 대형 언어 모델 MPT-30B를 출시했습니다.
데이터 출처: mosaicML 주류 모델의 MT-Bench 평가
MPT 시리즈 모델의 장점은 높은 효율성과 저렴한 비용입니다. 대량 데이터를 이용해 '훈련'된 인공지능 모델의 복잡성은 급격히 상승, 이제 모델을 훈련하는 데 드는 비용은 최소 수백만 달러에 달해 대기업을 제외한 중소기업에서는 일반적으로 감당하기 어려운 수준이 되었습니다. mosaicML의 MPT 시리즈 모델을 사용하면 기업은 더 낮은 비용과 더 높은 효율성으로 자체 언어 모델을 교육할 수 있으므로 생성 AI 기술을 더 쉽게 적용하고 더 나은 업무 성과를 달성할 수 있습니다. 대부분의 오픈 소스 언어 모델은 최대 수천 개의 토큰 시퀀스만 처리할 수 있습니다(그림 1 참조). 그러나 mosaicML 플랫폼과 8xA100-40GB의 단일 노드를 사용하면 사용자는 MPT-7B를 쉽게 미세 조정하여 최대 65k의 컨텍스트 길이를 처리할 수 있습니다. 이러한 극단적인 컨텍스트 길이 적응을 처리하는 능력은 MPT-7B의 주요 아키텍처 선택 중 하나인 ALiBi에서 비롯됩니다.
예를 들어, "The Great Gatsby"의 전체 텍스트에는 68,000개 미만의 토큰이 있습니다. 한 테스트에서 StoryWriter 모델은 "The Great Gatsby"를 읽고 에필로그를 생성했습니다. 모델 생성의 최종 단계 중 하나가 그림 2에 나와 있습니다. 스토리 작가는 <위대한 개츠비>를 약 20초(분당 약 150,000단어) 만에 읽었습니다. 시퀀스 길이가 길기 때문에 "타이핑" 속도는 분당 약 105단어로 다른 MPT-7B 모델보다 느립니다. StoryWriter는 컨텍스트 길이 65k로 미세 조정되었지만 ALiBi를 사용하면 모델이 훈련된 것보다 더 긴 입력을 추론할 수 있습니다. The Great Gatsby의 경우 68,000개 토큰, 테스트에서는 최대 84,000개 태그 입니다.
그림 2: MPT-7B-StoryWriter-65k+는 "The Great Gatsby"의 에필로그를 썼습니다. 에필로그의 결과는 "The Great Gatsby"(약 68,000개의 토큰)의 전체 텍스트를 모델에 대한 입력으로 제공하고 그 뒤에 "에필로그"라는 단어를 제공하여 모델이 계속 생성되도록 하는 것입니다.
생성 AI 기술의 대중화
생성적 AI(Generative AI) 기술은 대량 의 데이터와 딥러닝 알고리즘을 사용해 원본 텍스트, 이미지, 컴퓨터 코드 및 기타 콘텐츠를 자동으로 생성하는 인공지능의 한 분야입니다. 이 기술의 출현으로 사람들은 데이터를 보다 편리하게 처리하고 분석할 수 있으며 인간의 요구에 더 잘 부응할 수 있습니다. 빅데이터와 인공지능 기술이 급속히 발전하면서 생성 AI 기술은 자연어 처리, 이미지 인식, 가상현실 등의 분야에서 널리 활용되고 있다. 예를 들어, 자연어 처리 분야에서 GPT-4는 가장 널리 사용되는 생성 AI 모델 중 하나가 되었으며 기사 생성, 언어 번역, 질문 답변과 같은 작업에 사용될 수 있습니다. 이미지 인식 분야에서 StyleGAN2는 고품질 이미지를 생성할 수 있으며 게임 개발, 영화 및 TV 제작, 가상 현실 등의 분야에서 사용될 수 있습니다.
이전에 mosaicML의 CEO인 Naveen Rao는 2018년부터 "훈련"을 위해 대량 데이터를 사용하는 인공 지능 모델의 복잡성이 급격히 상승 밝혔습니다. 기타 중소기업은 일반적으로 이를 감당할 수 없습니다. 이번 인수 이후 Databricks의 Lakehouse 플랫폼과 mosaicML 기술의 합작 제품을 통해 기업은 자체 독점 데이터를 사용하여 생성적 AI 모델을 간단하고 신속하며 저렴한 비용으로 훈련 및 구축하는 동시에 사용자가 제어 및 관리를 통해 데이터를 소유할 수 있습니다. 소유권이 있으면 맞춤형 AI 모델 개발이 가능합니다. Databricks에 따르면 Databricks와 mosaicML의 플랫폼과 기술 지원을 통해 기업의 LLM 교육 및 사용 비용이 크게 줄어들 것이며 약 수천 달러까지 떨어질 것으로 예상됩니다. 이는 생성 AI의 대중화를 촉진합니다.
데이터브릭스의 mosaicML 인수의 의의
Databricks가 모자이크ML을 인수한 주요 목적은 생성 AI 기술의 개발과 민주화를 가속화하는 것입니다. Databricks는 두 회사의 기술과 자원을 통합함으로써 고객 요구를 더 잘 충족하고 보다 효율적이고 편리한 솔루션을 제공할 수 있습니다. 특히 이번 인수로 인해 다음과 같은 측면에서 변화가 있을 것입니다.
1. 보다 효율적인 대규모 언어 모델
Databricks는 mosaicML을 인수한 후 MPT 시리즈 모델을 Lakehouse 플랫폼에 통합하여 고객에게 보다 효율적이고 저렴한 대규모 언어 모델을 제공할 수 있습니다. 이를 통해 기업은 자연어 처리 작업을 더 잘 처리하고 업무 효율성과 정확성을 향상시킬 수 있습니다.
2. 더 빠른 모델 훈련 속도
mosaicML의 MPT 시리즈 모델은 빠른 학습 기능을 갖추고 있어 Databricks가 더 빠른 모델 학습 서비스를 제공하는 데 도움이 됩니다. 이는 시장 요구에 신속하게 대응하여 고객의 요구 사항을 더 잘 충족해야 하는 기업에 특히 중요합니다.
3. 더 높은 수준의 민주화
데이터브릭스가 모자이크ML을 인수한다는 것은 생성 AI 기술의 민주화가 더욱 가속화된다는 의미이기도 하다. mosaicML의 MPT 시리즈 모델을 사용하면 중소기업이 자체 언어 모델을 더 쉽게 훈련할 수 있으므로 생성 AI 기술을 더 잘 적용하고 더 나은 업무 성과를 달성할 수 있습니다. 이는 생성적 AI 기술의 개발 및 적용을 촉진하고 인공지능 기술의 대중화 및 발전을 촉진하는 데 도움이 될 것입니다.
요약
생성적 AI 애플리케이션은 사용자의 자연어 프롬프트를 기반으로 원시 텍스트, 이미지 및 컴퓨터 코드를 생성하도록 설계되었습니다. 인공지능 스타트업 오픈AI(OpenAI)가 지난해 11월 온라인 생성 AI 챗봇인 ChatGPT를 출시한 이후 이 기술에 대한 관심이 급증했다. "모든 조직은 AI 혁명의 혜택을 누릴 수 있어야 하며 데이터 사용 방법에 대해 더 많은 제어권을 가져야 합니다. Databricks와 mosaicML은 AI를 민주화하고 Lakehouse가 현대 인공 지능을 위한 최고의 장소를 구축할 수 있는 놀라운 기회를 가지고 있습니다."라고 말했습니다. Databricks의 공동 창립자이자 CEO인 Ali Ghodsi입니다.
데이터브릭스의 모자이크ML 인수의 의의는 생성 AI 기술의 개발과 민주화를 가속화할 뿐만 아니라, 두 회사의 기술과 자원을 통합해 고객에게 보다 효율적이고 편리한 솔루션을 제공한다는 점이다. 인공 지능 기술의 급속한 발전과 적용으로 인해 생성 AI 기술은 점점 더 중요한 역할을 할 것입니다. Databricks의 mosaicML 인수는 기업이 이러한 방향에 부여하는 중요성과 투자를 반영합니다. Anthropic 및 OpenAI와 같은 회사는 기성 언어 모델을 기업에 라이선스한 다음 그 위에 AI 애플리케이션을 구축합니다. 이러한 모델에 대한 강력한 상업적 수요로 인해 mosaicML과 같은 스타트업에 기회가 창출되었습니다. Snowflake와 Databricks의 잇따른 인수를 통해 대규모 기술 기업이 독립적인 연구 개발과 전략적 투자에서 생성 AI 기술에 대한 인수 합병 단계로 점차 이동하고 있음을 알 수 있습니다.
참조 소스:
https://www.databricks.com/company/newsroom/press-releases/databricks-signs-definitive-agreement-acquire-mosaicml-leading-generative-ai-platform
https://mattturck.com/mosaic/
https://twitter.com/lmsysorg/status/1672077353533730817/photo/1
https://www.mosaicml.com/blog/mpt-7b#appendix-eval
https://www.mosaicml.com/blog/mpt-30b
원본 출처: https://mp.weixin.qq.com/s/WG1zoLeROkrfD1jT2CZyIA
