애플은 빅모델 시대에 뒤쳐지고 있는가? 거의 모든 사람들이 Apple WWDC24에서 이 답을 찾기를 희망합니다. 그러나 가장 중요한 기조연설 이후 논란도 불거졌다. 컨퍼런스 전반부는 '안드로이드 따라잡기'라는 농담을 하는 작은 기능들의 집합이었는데, 후반부에는 표면적으로 가장 중요한 AI가, 외부 세계에 공개된 AI 기능은 안드로이드폰과 별반 다르지 않으며, 많은 사람들은 “놀랄 일이 없다”고 생각한다. 농담이 인터넷에 퍼지기 시작했습니다. "WWDC24의 가장 큰 놀라움은 Apple이 iPad에 새로운 계산기를 가져왔다는 것입니다."
실제 AI 하드웨어는 아직 등장하지 않았지만 대형 모델은 향후 엔드사이드 장치의 운영 체제에 해당하는 '핵심'이 될 수 있으며 이는 업계에서 일정한 합의가 되었습니다. Apple에 그렇게 중요한 대형 모델 기능이 있습니까? AI 시대에 애플은 정말 OpenAI 같은 제3자 대형 모델 기업에 의존해야 하는 걸까?
기조연설 당일 애플 주가는 1.9% 하락했는데, 이는 이번 컨퍼런스에 대한 외부 세계의 '밋밋한' 평가와 일치하는 것으로 보인다. 그러나 기조연설 둘째 날 애플의 주가는 역대 신고점 까지 7%나 급등했다. 자본시장은 시장의 단결된 힘을 반영하는 것입니다. 애플의 시총 총액이 3조 1,800억에 달하는 만큼, 펀드 이면의 엄청난 정서 차이는 주목할 만합니다.
이전 논란에 이어 두 가지 정보에 주목했습니다 . 한 가지 정보는 애플이 공식 홈페이지에 은밀하게 공개한 대형 모델 기술 문서로, 파헤쳐 볼 만한 많은 세부 사항이 담겨 있습니다. 또 다른 하나는 현장에 있던 텐센트 테크놀로지의 동료가 보낸 메모로, 기조연설 이후 눈에 띄지 않게 진행된 비공개 대화 내용이 녹음됐다. 소프트웨어 엔지니어링." Craig Federighi와 Apple의 머신러닝(ML) 및 인공 지능 전략 수석 부사장인 John Giannandrea는 둘 다 CEO Cook에게 직접 보고합니다. OpenAI와 협력하여 개인 정보를 보호하는 방법 등에 대해 설명합니다.
본 글에서는 이 두 가지 정보에 초점을 맞춰 애플의 '대형 모델 경쟁력'이 무엇인지 자세히 살펴보고자 한다.
두 가지 주요 사항이 있습니다.
● 애플은 자체적으로 대규모 모델을 개발할 수 있는 강력한 능력을 갖고 있다.
● OpenAI는 Apple Intelligence를 지원하지 않으며 둘은 완전히 독립적입니다. Apple Intelligence는 Apple이 자체 개발한 모델을 통해 완벽하게 구동됩니다.
Apple이 공개한 모델 기술 문서를 더 자세히 살펴보세요.
새롭게 결정된 두 가지 정보,
아마도 이것이 이번 릴리스의 가장 중요한 점일 것입니다.
첫째, 정보가 점차 명확해졌다. 기자간담회에서 설명되지 않았던 두 가지 정보가 기자회견 이후 점차 명확해졌다.
1. Apple은 자체 개발 모델을 조용히 출시했습니다. 기기 측면의 소형 모델뿐만 아니라 클라우드의 대형 모델도 있습니다.
Keynote에서 Apple은 AI 기능을 갖춘 엔드사이드 장치가 사용자에게 제공할 수 있는 놀라운 애플리케이션 경험에 대해 이야기해 왔습니다. 그런데 이 모델의 소유자는 누구입니까? Apple이 직접 개발한 것은 무엇이고, OpenAI와 협력하여 개발한 것은 무엇입니까? 개인정보 보호는 약속되지만 정확히 어떻게 보장되나요? 머스크는 애플이 OpenAI를 통합하면 회사에서 금지될 것이라고 분노한 트윗을 올렸다. 하지만 Apple의 기조연설 내내 우리는 명확한 답을 찾지 못했습니다.
기자 회견 후 기술 블로그를 게시하고 State of Union에서 Apple 장치에 사용할 모델의 세부 사항을 발표했습니다. 클라이언트 모델과 클라우드 모델 모두 Apple 자체에서 개발했습니다.
자체 개발한 대형 모델이 GPT4를 따라잡다
구체적으로 Apple 장치의 장치 측 모델은 30억 개의 매개변수(3B)를 가진 소형 모델입니다. Apple은 클라우드 모델의 구체적인 매개변수를 발표하지 않았습니다. 두 모델 모두 성능이 꽤 좋습니다.
Apple은 기본적으로 3B 수준의 소형 모델과 여러 주류 7B 수준 모델의 성능 측면에서 승리할 수 있습니다(승리 확률 + 동률 >50%). 클라우드 모델은 GPT-4 Turbo 수준에 직접 도달합니다(승리 + 동점 확률은 58.3%).
이번 발표는 전체 Apple 업데이트 과정에서 가장 큰 핵폭탄일 수 있습니다. Apple은 대규모 GPT4 수준 모델을 개발했으며, 이는 Apple의 소프트웨어 및 하드웨어 시스템에 직접 통합될 만큼 충분히 성숙되었습니다.
이는 Apple 모델의 기능에 대한 이전의 의심이 완전히 근거가 없음을 의미합니다. Apple은 이제 외부 모델 회사에 의존하지 않고도 자체 내부 폐쇄 루프 AI 시스템을 구축할 수 있습니다. 이는 현재 구글을 제외한 다른 휴대폰 제조사들이 전혀 할 수 없는 일이다.
이것이 Apple이 OpenAI를 모델 중 하나로만 나열하고, 외부에서 호출할 수 있는 모델 중 하나로 나열하는 이유입니다.
터미널 측 소형 모델의 강력한 최적화
또한, 기자간담회에서 애플은 애플 인텔리전트의 대부분의 작업이 기기측 모델에서 완료될 것이라고 강조했습니다. 그러나 기자회견이 끝난 후 거의 모든 사람들은 3B 크기의 모델이 기자회견에서 보여준 기능을 실제로 완성할 수 있는지 의문을 제기했습니다.
우선 3B 사이즈의 엔드사이드 모델을 구현하는 것이 사실 쉽지 않다.
Apple 경쟁 제품의 성능을 살펴보세요. Google은 지난해 12월 자사의 주력 휴대폰인 Pixel 8 Pro에 처음으로 엔드투엔드 모델인 Gemnini Nano를 배포했습니다. 매개변수 크기는 1.8B에 불과하며 성능은 다음과 같습니다. 매우 제한적입니다. Samsung S24도 단말기 측에서 Gemnini Nano를 사용합니다. Pixel 8 Pro에는 12G 메모리가 있다는 것을 알아야 합니다. 올해 5월이 되어서야 Google은 이 1.8B 모델에서 8G 메모리를 탑재한 Pixel 8과 8a를 실제로 업그레이드할 수 없게 되었습니다. 다음 달까지 배포하세요. 다른 휴대폰 제조업체에서 배포하는 장치측 모델은 기본적으로 1B 수준 매개변수 규모입니다.
Apple은 8G 메모리 iPhone 15 Pro에서 3B 매개변수 모델을 실행하도록 만들었습니다. 이러한 엔지니어링 능력은 경쟁사보다 앞서 있습니다.
이에 앞서 애플은 지난해 12월 화제를 모은 논문 'LLM in a flash: Efficient Large Language Model Inference with Limited Memory'에서 이미 이에 대한 충분한 준비를 마친 상태였다. 데이터 전송을 최소화하고 플래시 메모리 처리량을 최대화하기 위해 윈도잉과 행-열 번들링이라는 두 가지 핵심 기술을 사용합니다.
이 기술 문서에서 Apple은 모델 프레임 에 grouped-query-attention 및 LoRA 어댑터 프레임 사용했다고 언급했습니다. 이 두 가지 기술은 반복적인 매핑을 피하고 추론 프로세스를 압축할 수 있으며, 둘 다 메모리 사용량과 추론 비용을 효과적으로 줄일 수 있습니다.
또한, Apple은 AI 모델의 운용으로 인해 휴대폰의 전력 소모가 크게 줄어들지 않도록 전력 소모 분석 도구인 Talaria도 탑재하여 적시에 전력 소모를 최적화했습니다.
이러한 일련의 작업을 통해 3B 모델의 엔드사이드 배포가 가능해졌습니다.
둘째, 이 기술 블로그에서 Apple은 소형 모델의 배송 기능을 보장하는 방법도 보여줍니다. 전능하지는 않지만 특정 작업을 강화했습니다.
특히, Apple은 기본 모델에 미세 조정된 어댑터를 많이 추가했습니다. 어댑터는 공통 기본 모델에 겹쳐진 모델 가중치의 작은 컬렉션입니다. 동적으로 로드하고 교환할 수 있으므로 기본 모델을 현재 작업에 실시간으로 맞출 수 있습니다. Apple Smart에는 긴급 상황 판단, 요약, 이메일 회신 및 회의에서 발표되는 기타 여러 기능을 위해 세밀하게 조정된 일련의 어댑터가 포함되어 있습니다.
따라서 최소한 클라이언트 측 모델은 기본 요약 및 이메일 작성과 같은 가장 일반적인 작업을 더 잘 완료할 수 있습니다.
종합해보면 이번 컨퍼런스에서 애플이 보여준 종합적인 모델 역량은 기대를 훨씬 뛰어넘었다고 할 수 있다. 대형 모델부터 소형 모델까지 모두 1계층으로 뛰어올랐다.
새로운 플래그십에만 사용할 수 있는 AI가 휴대폰 교체의 새로운 물결을 촉발할 수 있습니다.
또 다른 소식 도 매우 중요 합니다 . iOS18 시스템 업그레이드 는 모든 iPhone 모델에 적용할 수 있지만 이는 AI를 사용하기 위해 사용자가 기계 교체의 물결을 겪어야 할 수도 있음을 의미합니다.
사실 이는 기존 사용자를 차단하려는 Apple의 의도는 아닙니다. 결국 대규모 모델의 병목 현상은 한편으로는 해시레이트 이고 다른 한편으로는 메모리입니다. 애플 입장에서 해시레이트 문제는 그다지 어렵지 않을 수도 있다. 이번에 애플 인텔리전트가 출시한 제품은 M1부터 시작된다. AI 추론을 담당하는 M1 칩의 NPU 기능은 실제로 A16만큼 좋지는 않지만, Apple 엔드사이드 모델의 추론 요구 사항을 처리하기에는 충분합니다. 그렇다면 왜 iPhone14 Pro나 심지어 iPhone 15도 안되는 걸까요? 아니면 메모리가 부족해서요.
모델은 추론 중에 많은 양의 실행 메모리(DRAM)를 필요로 하기 때문에 메모리가 작을 경우 추론 속도가 심각하게 느려지거나 추론을 완료할 수 없게 됩니다. 따라서 iPhone 15 Pro 이상에서 사용 가능한 8G 메모리는 일련의 최적화를 거친 현재 3B 엔드 사이드 모델에 필요한 최소 메모리 용량일 수 있습니다.
하지만 이 문제 자체에도 최적화의 여지가 있습니다. 어제 Shanghai Jiao Tong University가 발표한 PowerInfer2 휴대폰 추론 프레임 메모리 사용량을 더욱 줄이는 방법을 제안합니다. GeminiNano를 Pixel 8로 분산화한 것은 Google도 동일한 노력을 기울이고 있음을 보여줍니다.
하지만 메모리 요구 사항은 더 적고 여전히 상위권을 노리는 7B 및 14B 모델이 있습니다. 장기적으로는 여전히 기계를 교체해야 합니다. 결국, 더 큰 최종 모델만이 사용자가 비용을 지불하게 만드는 더 많은 경험 마법을 가져올 수 있습니다.
원탁 대화에서 OpenAI와의 관계 밝혀짐
Apple이 자체 개발한 대형 모델 기능이 이렇게 강력한데 왜 OpenAI와 협력해야 합니까? Apple의 소프트웨어 엔지니어링 담당 수석 부사장인 Craig Federighi와 John Giannandrea는 Keynote 이후 비공개 대화에서 이 내용을 밝혔고, Tencent Technology의 WWDC 연설에서 동료가 대화 내용을 녹취록으로 돌려보냈습니다. "ChatGPT와 같이 풍부한 공개 정보를 갖춘 기존의 대규모 언어 모델에도 용도가 있습니다. 이러한 초대형 최첨단 모델에는 사용자가 좋아하는 몇 가지 흥미로운 기능이 있으며 이를 우리 경험에 통합하면 사용자 경험이 더욱 풍부해질 수 있습니다."
이를 염두에 두고 Apple은 자사 플랫폼에서 더욱 강력한 AI 서비스를 제공하기 위해 WWDC에서 OpenAI와의 협력을 공식적으로 발표했습니다. 그러나 OpenAI의 ChatGPT는 Apple Intelligence에 대한 지원을 제공하지 않으며 두 가지가 완전히 독립적이라는 점은 주목할 가치가 있습니다. Apple Intelligence는 Apple이 자체 개발한 모델을 통해 완벽하게 구동됩니다.
이는 애플이 WWDC에서 OpenAI와의 협력을 공식적으로 발표했지만, 외부에서 추측하는 것처럼 이 협력이 애플 시스템에 통합되지 않았음을 의미합니다. 이러한 종류의 협력은 타사 대형 모델 회사와의 협력 패러다임에 가깝습니다. Federighi는 GPT-4o가 현재 최고의 LLM이기 때문에 Apple이 OpenAI와 협력하지만 Apple은 향후 다른 LLM 제공업체와 협력하여 사용자를 허용할 수도 있다고 설명했습니다. 외부 LLM 제공업체를 선택합니다. Sam Altman의 태도도 매우 모호합니다. 그는 항상 주목을 받았지만 "이렇게 중요한"협력이 이루어진 후에는 트윗만 올렸습니다.
참고: Sam Altman이 Apple Park에 갔지만 무대에 설 기회가 없었다는 소문이 있습니다.
Federighi에 따르면 Apple Intelligence는 사진, 연락처, 메시지, 이메일 등 개인 장치의 데이터를 사용하여 작업을 수행하는 고도로 개인화된 지능으로 설계되었습니다. OpenAI의 ChatGPT는 사용자가 더 복잡한 AI 요청을 할 때 작동할 수 있습니다. 예를 들어 ChatGPT가 영화 대본을 작성해 주기를 원하는 경우 누군가 Mac 또는 iPhone을 사용하여 ChatGPT에 쿼리를 보낼 수 있습니다.
또한 Apple은 ChatGPT와의 통합을 설계할 때 개인 정보 보호 우선 사고 방식을 채택했습니다. 사용자의 허가 없이는 사용자 데이터가 OpenAI로 전송되지 않습니다. 처리를 위해 요청이 ChatGPT로 전송되기 전에 사용자는 먼저 이를 수동으로 허용해야 합니다. "예를 들어, 나는 의사이고 미래에 의료 모델을 도입하고 싶을 수도 있고, 변호사이고 법률 업무에 맞게 개선된 모델을 내 개인 장치에 가져오고 싶을 수도 있습니다." Apple은 이것이 궁극적으로 개인 정보 분야에서 사용자가 수행하는 작업을 크게 보완할 것이라고 믿습니다. "
OpenAI와의 협력을 통해 Apple은 앞으로도 Apple 기기에 백화 피는 모델을 지속적으로 도입하여 오늘날 APP 생태계를 구축하는 것처럼 사용자에게 비교할 수 없을 정도로 개인화되고 지능적인 경험을 제공할 것입니까? 아직 알려지지 않은 사항이므로 기다려 보겠습니다.
미래의 AI 최종 장치 구축,
사과는 타고난 생태학적 이점을 가지고 있습니다.
Apple이 WWDC에서 선보인 애플리케이션 시나리오는 그다지 마술처럼 보이지는 않지만 실제로 사용자의 실제 애플리케이션에 대한 더 나은 구현 시나리오라고 말할 수 있습니다. 예를 들어 아이패드OS의 노트 필기 학습 기능, 계산기의 전체 화면 인식 기능, iOS의 젠 이모지 기능 등이 흥미롭고 유용하다. 다들 애플리케이션을 만들고 있지만 확실히 애플이 더 사용자 친화적이고 사용자들에게 깊이 인식되기 더 쉽습니다.
기자회견 후 Tencent Technology가 주도한 라이브 토론에서 Numiao Technology의 설립자인 Li Nan은 "Apple의 기기측 모델에는 시스템 수준 권한과 데이터 액세스 기능이 있습니다. Apple에 묻는다면 실제로 이것을 달성했습니까?"라고 말했습니다. AI 기능 측면에서 보면 휴대폰의 로컬 API를 클라이언트 측 모델과 완벽하게 연결하는 것은 업계 최초이며, 사용자 개인 데이터를 클라이언트 측 모델에 제공하는 것은 업계 최초입니다. 사이드 모델도 이를 원하지만 이 데이터에 액세스할 수 없습니다. Apple의 온디바이스 AI 핵심 기술 역량은 점점 더 강력해질 것입니다.”
이 강력한 원동력은 안드로이드가 바라지만 달성하기 어려운 애플 특유의 생태계에서 나온다. 어쩌면 모든 하드웨어 단말 장치의 AI 경험과 유통을 단기간 내에 열어줄 수 있는 회사는 애플뿐일지도 모른다. 시간의.
이는 의심할 여지 없이 Apple이 수년 동안 기술 업계의 선두 자리를 지켜온 중요한 해자입니다. Apple은 제품과 시스템 사이뿐만 아니라 기본 칩과 개발 도구 사이에도 매우 견고한 생태적 장벽을 가지고 있습니다.
이를 통해 Apple은 Device-side AI 시대에 후발주자임에도 불구하고 이전 제품이 달성할 수 없었던 AI 생태계를 제공할 수 있으며, 예를 들어 이번 WWDC24에서 Apple이 시연한 것처럼 더 많은 AI 애플리케이션 생태학적 시나리오를 제공할 수도 있습니다. 이모티콘 , AI 기반 수학 메모 및 기타 눈길을 끄는 기능을 포함한 AI 생성은 AI 컷아웃 기능만 홍보하는 많은 제조업체보다 분명히 더 매력적입니다.
"우리는 인공지능이 사용자를 대체하는 것이 아니라 그들의 능력을 향상시키기를 바랍니다." 크레이그 페더리기(Craig Federighi)는 원탁 대화에서 AI에 대한 애플의 견해에 대해 "이것은 우리가 지금까지 보아온 어떤 인공지능과도 다르다"고 말했다.
하지만 문제도 생기고,
애플은 앞으로 수없이 한 가지를 증명할 수도 있다
OpenAI와의 관계가 확인된 후 이어진 질문은 "애플이 보안을 보장하면서 AI 생성 콘텐츠를 완성하기 위해 어떻게 기존 사용자 데이터를 제3자에게 넘겨줄 수 있는가"였습니다.
이는 Apple에게 매우 중요합니다.
올해 WWDC의 가장 중요한 제품으로 크레이그 페더리기(Craig Federighi)는 Apple Intelligence를 출시했을 때 Apple Intelligence가 만든 "기기 + 프라이빗 클라우드" 조합이 얼마나 안전한지 사용자에게 알리기 위해 많은 지면을 할애했습니다. Apple은 시스템 수준의 보안 칩 암호화와 완전히 닫힌 전송 경로를 통해 이를 보장합니다.
Apple은 기조 연설에서 프로세스의 이 부분에 초점을 맞췄으며 시스템에 스위치를 추가했으며 GPT-4o에 대한 모든 콘텐츠 출력은 확인을 위해 사용자가 시작한 콘텐츠여야 합니다.
동시에 Craig는 라운드 테이블에서 Apple이 사용자 요구 사항을 어떻게 처리하는지 설명했습니다. 클라우드로 이동하려는 경우 사용자 데이터의 민감도를 낮추는 일련의 독립적인 암호화 알고리즘이 있으며 데이터는 즉시 파기됩니다. 이 프로세스에서 데이터가 완전히 중단되지 않는다는 Apple의 견해는 무엇입니까?
Apple은 이 방법을 사용하여 사용자에게 이것이 충분히 안전하다는 것을 알리고 싶어합니다. 그들은 독립적인 보안 연구원을 찾아 Apple Intelligence 서버를 공개하고 제3자를 소개하여 사용자 데이터의 보안이 유출되지 않는다는 것을 증명하기도 했습니다.
그러나 이는 특히 Siri가 GPT-4o에 연결된 후 개인 데이터의 보안 유출에 대한 외부 세계의 우려, 사용자 데이터의 민감도를 낮추는 방법 및 Apple-OpenAI-Apple 전송 경로의 실수를 피하는 방법과 같은 문제를 여전히 제거하지 못합니다. 교차로는 모두 Apple에 던져집니다.
Wall-Facing Intelligence의 수석 연구원인 Han Xu도 Tencent Technology와의 라이브 방송에서 우려를 표명했습니다. 그는 OpenAI의 GPT든 Google의 Gemini 든 데이터가 Apple에서 제3자에게 전송되는 한 Apple이 패할 수 있다고 생각합니다. 데이터 보안에 대한 통제는 실제로 Apple의 개인정보 보안에 새로운 도전을 제기할 것입니다.
그러나 좋은 소식은 애플이 이런 문제에 직면한 것이 이번이 처음이 아니라는 것이다.
Apple은 검색 공급업체를 선택할 때 비슷한 논의에 참여했습니다. 애플이 구글을 아이폰의 기본(해외) 검색엔진으로 확정했을 때, 사용자의 개인정보가 유출되지 않도록 어떻게 보장할 것인지에 대한 의문이 제기된 바 있다. 외국 언론과의 독점 인터뷰에서 Cook이 설명한 내용은 놀랍게도 현재 OpenAI를 선택한 것과 일치합니다.
Apple은 Google을 선택했고 Cook은 Google이 검색 엔진 측면에서 최고라고 말했습니다.
Apple은 OpenAI를 선택했고, Craig도 OpenAI가 현재 Apple의 최선의 선택이라고 말했습니다.
Cook이 검색 엔진에 대해 이야기했을 때, 그는 Apple이 Safari 브라우저에서 개인 정보 보호 브라우징 모드를 개발하고 지능형 추적 방지 기능 등을 갖춘 등 많은 제어 옵션을 여기에 통합하여 사용자에게 다음을 제공했다고 말했습니다. 포괄적인 지원.
Craig가 AI에 대해 이야기할 때 그는 클라이언트 측 + 프라이빗 클라우드의 암호화 전략에 대해서만 더 많이 이야기했지만 OpenAI에 대해서는 더 이상 공개하지 않았습니다.
Apple은 자신의 AI 전략이 자체적으로든 타사의 AI 전략이든 안전하다는 점을 앞으로도 오랫동안 수없이 증명할 것으로 예상할 수 있습니다. 이는 Apple의 한계선입니다.
