사람들이 암호화를 통해 데이터를 보호할 수 있다는 확신을 갖고 기꺼이 데이터를 제공할 때, 아마도 우리는 AGI의 혁신을 이룰 수 있을 것입니다.
hmalviya9 글:
편집: Frank, Foresight News
편집자 주: "주의 만 있으면 된다" 논문은 2017년에 발표되어 지금까지 11만 회 이상 인용되었습니다. 이 논문은 ChatGPT로 대표되는 오늘날의 빅 모델 기술의 기원 중 하나이며, 여기에 소개된 트랜스포머 아키텍처와 주의 메커니즘은 소라, 알파폴드 및 기타 많은 세상을 바꾸는 AI 기술에 널리 사용되고 있거나 앞으로 사용될 것입니다. 관심만 있으면 됩니다.
"현대 인공지능(AI)의 미래를 혁신적으로 바꾼 연구 논문 '주의력만 있으면 충분하다'를 소개합니다. 이 글에서는 트랜스포머 모델과 AI의 미래에 대해 자세히 살펴보고자 합니다.
2017년 6월 12일, 8명의 Google 엔지니어가 현대 AI의 미래를 바꾼 신경망 아키텍처에 대해 논의한 '주의력만 있으면 된다'라는 연구 논문을 발표했습니다.
지난 3월 21일에 열린 GTC에서 엔비디아의 창립자 젠슨 황은 이 8명의 구글 엔지니어들과 패널 토론을 진행하며 최신 AI를 가능하게 하는 트랜스포머 아키텍처를 소개해준 이들에게 감사를 표했는데, 놀랍게도 8명 중 NEAR의 창립자가 포함되어 있었습니다.
트랜스포머란 무엇인가요?
트랜스포머는 신경망입니다.
신경망이란 무엇인가요? 인간 뇌의 구조와 기능에서 영감을 받아 서로 연결된 수많은 인공 뉴런을 통해 정보를 처리하지만, 인간 뇌의 정확한 복제품은 아닙니다.
간단히 말해, 인간의 뇌는 아마존 열대우림과 같이 다양한 영역과 그 영역을 연결하는 수많은 경로로 이루어져 있습니다. 뉴런은 이러한 경로를 연결하는 연결고리이며 열대우림의 어느 곳과도 신호를 주고받을 수 있으므로 연결은 두 개의 서로 다른 뇌 영역을 연결하는 경로 그 자체입니다.
이를 통해 우리 뇌는 매우 강력한 학습 능력을 갖게 되며, 빠르게 학습하고 패턴을 인식하며 정확한 결과를 제공할 수 있습니다. 트랜스포머와 같은 신경망은 인간의 뇌와 동일한 학습 능력을 달성하기 위해 노력하고 있지만, 현재 인간의 뇌에 비해 1%도 발전하지 못한 상태입니다.
최근 몇 년 동안 트랜스포머는 제너레이티브 AI 분야에서 인상적인 진전을 이루었습니다. 현대 AI의 발전 과정을 되돌아보면, 초기 AI는 Siri와 같은 음성/인식 앱이 주류를 이루었음을 알 수 있습니다.
이러한 앱은 순환 신경망(RNN)을 사용하여 구축되었는데, 이러한 앱에는 몇 가지 한계가 있었으나 트랜스포머에 의해 해결되고 개선되었습니다. 트랜스포머는 모든 시퀀스의 모든 부분을 동시에 분석할 수 있는 자기 주의 기능을 도입하여 다음을 수행할 수 있게 되었습니다. 장거리 종속성과 컨텍스트 콘텐츠를 캡처할 수 있습니다.
트랜스포머의 혁신 주기는 아직 매우 초기 단계로 XLNet, BERT, GPT 등 여러 가지 파생 기술이 있습니다.
이 중 가장 잘 알려진 것은 GPT이지만 이벤트를 예측하는 능력에는 여전히 한계가 있습니다.
대규모 언어 모델(LLM)이 과거 데이터와 패턴을 기반으로 이벤트를 예측할 수 있게 되면, 이는 현대 AI의 다음 단계로 도약하는 계기가 될 것이며, 일반 인공 지능(AGI)을 달성하는 속도도 빨라질 것입니다.
이러한 예측 기능을 달성하기 위해 대규모 언어 모델(LLM)은 다양한 데이터 세트를 기반으로 미래 값을 예측하고 예측을 해석할 수 있는 모델인 시간적 융합 트랜스포머(TFT)를 사용해야 합니다.
TFT는 예측 외에도 블록체인 영역에서 사용할 수 있습니다. 모델에 특정 규칙을 정의함으로써 TFT는 합의 과정을 효율적으로 관리하고, 블록아웃 속도를 높이고, 정직한 검증자에게 보상을 주고, 악의적인 검증자를 처벌하는 등의 작업을 자동화할 수 있습니다.
블록체인 네트워크는 기본적으로 투표 기록, 블록 제안 기록, 슬래시 기록, 스테이킹 금액, 활동 수준 및 기타 여러 매개 변수를 기반으로 설정할 수 있는 평판 점수가 높은 검증인에게 더 많은 블록 보상을 제공할 수 있습니다.
퍼블릭 체인의 합의 메커니즘은 본질적으로 검증자 간의 게임이며, 검증자의 3분의 2 이상이 다음 블록을 생성할 사람에 동의해야 합니다. 이 과정에서 많은 의견 충돌과 논쟁이 발생할 수 있으며, 이는 이더와 같은 퍼블릭 체인 네트워크의 비효율성을 초래하는 요인입니다.
TFT는 블록 생성 시간을 단축하고 블록 생성 평판에 따라 검증자에게 보상을 지급함으로써 효율성을 개선하는 합의 메커니즘으로 활용될 수 있습니다. 예를 들어, 합의 과정에 TFT 모델을 적용하는 BasedAI는 이 모델을 사용하여 검증자와 네트워크 참여자 간에 토큰 발행을 할당할 것입니다.
또한, BasedAI는 개발자들이 '브레인'이라는 탈중앙화된 AI 인프라에서 프라이버시를 보호하는 대규모 언어 모델(Zk-LLM)을 호스팅할 수 있도록 FHE 기술을 활용할 것을 제안하며, FHE 기술을 대규모 언어 모델에 통합하여 개인화된 AI 서비스를 사용하고자 하는 사용자의 개인 데이터를 보호할 수 있도록 할 것입니다.
사람들이 데이터가 암호화되어 완전히 비공개로 보호될 것이라는 확신을 가지고 기꺼이 데이터를 제공할 때, 아마도 우리는 범용 AI(AGI)의 획기적인 발전을 이룰 수 있을 것이며, 그 공백은 닐리언 네트워크 블라인드 계산, 영지식 머신러닝(ZkML), 동형 암호화(Homomorphic Encryption( FHE) 기술.
하지만 이러한 개인정보 보호 중심 기술은 모두 상당한 컴퓨팅 리소스를 필요로 하기 때문에 아직 도입 초기 단계에 있습니다.
