지난 4월 17일, IOSG Ventures의 제12회 Old Friends Reunion이 예정대로 개최되었습니다. 이번 행사의 주제는 "Singularity: AI x Crypto Convergence"였습니다. 이에 따라 업계에서 떠오르는 뛰어난 대표자들도 초대되었습니다. 이번 모임의 목적은 참여자들이 인공지능과 암호화폐 분야가 어디에서 융합되고 있는지, 그리고 이러한 융합이 미래에 미칠 영향에 대해 논의하는 것입니다. 이와 같은 이벤트에서 참석자들은 자신의 통찰력, 경험 및 아이디어를 공유하여 업계 내 협업과 혁신을 촉진할 수 있는 기회를 갖게 됩니다.
다음은 이번 행사의 기조연설 중 하나입니다. IOSG Ventures의 Portfolio NEAR Protocol 공동 창립자인 Illia Polosukhin 은 "AI가 개방적이어야 하는 이유 – AI에 Web3이 필요한 이유"를 소개합니다.
AI가 개방적이어야 하는 이유
“AI가 개방적이어야 하는 이유”를 살펴보겠습니다. 내 배경은 기계 학습이고, 경력 중 약 10년 동안 다양한 머신러닝(ML) 작업을 수행해 왔습니다. 하지만 암호화폐, 자연어 이해, NEAR 창립에 참여하기 전에는 Google에서 일했습니다. 이제 우리는 Transformer라고 불리는 현대 인공 지능의 대부분을 구동하는 프레임 개발합니다. Google을 떠난 후 저는 기계 학습 회사를 시작하여 기계에게 프로그래밍 방법을 가르쳐서 컴퓨터와 상호 작용하는 방식을 변화시킬 수 있었습니다. 하지만 2017년이나 2018년에는 그렇게 하지 않았습니다. 너무 이르고 이를 수행할 컴퓨팅 성능과 데이터가 없었습니다.
우리가 하고 있던 일은 전 세계의 사람들이 주로 학생들인 우리를 위해 데이터에 라벨을 붙이는 작업을 하도록 하는 것이었습니다. 그들은 중국, 아시아, 동유럽에 있습니다. 그들 중 다수는 이들 국가에 은행 계좌를 갖고 있지 않습니다. 미국은 쉽게 돈을 보낼 의향이 별로 없었기 때문에 우리는 문제의 해결책으로 블록체인을 활용하고 싶었습니다. 우리는 전 세계 사람들이 어디에 있든 프로그래밍 방식으로 더 쉽게 지불할 수 있도록 만들고 싶습니다. 그런데 현재 암호화폐의 과제는 NEAR가 많은 문제를 해결하지만 일반적으로 암호화폐를 얻기 위해 블록체인 온체인 거래하기 전에 암호화폐를 구매해야 한다는 것입니다. 이는 프로세스와 반대입니다.
기업과 마찬가지로 그들은 우선 회사의 지분을 사용하려면 회사 지분을 사야 한다고 말합니다. 이는 NEAR가 해결하고 있는 많은 문제 중 하나입니다. 이제 AI 측면에 대해 조금 살펴 보겠습니다. 언어 모델은 새로운 것이 아니며 1950년대부터 존재해 왔습니다. 자연어 도구에서 널리 사용되는 통계 도구입니다. 오랫동안 2013년부터 딥러닝이 부활하면서 새로운 혁신이 시작되었습니다. 혁신은 단어를 일치시키고 이를 다차원 벡터에 추가하고 수학적 형식으로 변환할 수 있다는 것입니다. 이는 행렬 곱셈과 활성화 함수가 대량 딥러닝 모델과 잘 작동합니다.
이를 통해 우리는 고급 딥 러닝을 시작하고 모델을 훈련하여 많은 흥미로운 작업을 수행할 수 있습니다. 지금 돌이켜보면 우리가 하고 있던 일은 인간을 많이 본뜬 뉴런 신경망이었는데, 우리는 한 번에 한 단어도 읽을 수 있었습니다. 그래서 이 작업을 수행하는 것은 매우 느립니다. Google.com에서 사용자에게 무언가를 보여주려고 한다면 누구도 Wikipedia를 읽다가 답변을 하기 위해 5분을 기다리지는 않을 것입니다. 그러나 귀하는 즉시 답변을 원합니다. 그래서 ChatGPT, Midjourney, 그리고 최근의 모든 발전을 이끄는 모델인 Transformers 모델은 데이터를 병렬로 처리할 수 있고, 추론할 수 있고, 즉시 답변을 줄 수 있는 시스템을 갖는다는 동일한 아이디어에서 나온 것입니다.
따라서 이 아이디어의 주요 혁신 중 하나는 모든 단어, 모든 토큰, 모든 이미지 패치가 고도로 병렬 컴퓨팅 기능을 갖춘 GPU 및 기타 가속기 활용하여 병렬로 처리된다는 것입니다. 이를 통해 확장 가능한 방식으로 추론할 수 있습니다. 이러한 확장을 통해 훈련을 확장하여 자동화된 훈련 데이터를 처리할 수 있습니다. 그래서 그 다음에는 짧은 시간에 놀라운 일을 해내는 도파민이 있어서 폭발적인 훈련을 가능하게 해준다. 대량 의 텍스트를 담고 있으며 세계의 언어를 추론하고 이해하는 데 놀라운 결과를 얻기 시작합니다.
현재의 방향은 인공 지능의 혁신을 가속화하는 것입니다. 이전에는 데이터 과학자와 머신러닝(ML) 엔지니어가 사용하고 어떤 방식으로든 제품에 있는 데이터의 내용을 설명하거나 데이터에 대해 논의할 수 있는 도구였습니다. 의사 결정자. 이제 우리는 사람들과 직접 소통하는 AI 모델을 갖게 되었습니다. 실제로는 제품 뒤에 숨겨져 있기 때문에 모델과 소통하고 있다는 사실조차 모를 수도 있습니다. 그래서 우리는 AI의 작동 방식을 이해한 사람들에서 AI를 이해하고 사용할 수 있는 수준으로 전환하는 과정을 거쳤습니다.
여기서 몇 가지 맥락을 설명하겠습니다. 우리가 GPU를 사용하여 모델을 훈련한다고 말할 때 이것은 데스크톱에서 비디오 게임을 하기 위해 사용하는 종류의 게임용 GPU가 아닙니다.
각 시스템에는 일반적으로 8개의 GPU가 있으며 모두 마더보드를 통해 서로 연결되어 있으며 각각 약 16개의 시스템으로 구성된 랙에 쌓입니다. 이제 이러한 모든 랙은 전용 네트워크 케이블을 통해 서로 연결되어 매우 빠른 속도로 GPU 간에 직접 정보를 전송할 수 있습니다. 따라서 정보가 CPU에 맞지 않습니다. 실제로 CPU에서는 전혀 처리되지 않습니다. 모든 계산은 GPU에서 이루어집니다. 이것이 슈퍼컴퓨터 설정입니다. 다시 말하지만, 이것은 전통적인 "이건 GPU입니다."가 아닙니다. 따라서 GPU4와 같은 규모의 모델은 약 3개월 동안 6,400만 달러의 비용으로 10,000개의 H100을 훈련에 사용했습니다. 현재 비용 규모와 일부 최신 모델을 훈련하는 데 드는 비용을 알고 있습니다.
중요한 것은 시스템이 상호 연결되어 있다고 할 때 이전 세대 제품인 H100의 현재 연결 속도는 초당 900GB이고 컴퓨터 내부 CPU와 RAM 사이의 연결 속도는 초당 200GB이며 모두 컴퓨터에 로컬입니다. 결과적으로, 동일한 데이터 센터 내에서 컴퓨터가 할 수 있는 것보다 더 빠르게 한 GPU에서 다른 GPU로 데이터를 전송할 수 있습니다. 컴퓨터는 기본적으로 상자 내부에서 자체적으로 통신할 수 있습니다. 차세대 제품의 연결 속도는 기본적으로 초당 1.8TB이다. 개발자의 관점에서 이것은 개별 컴퓨팅 장치가 아닙니다. 이는 엄청난 양의 메모리와 컴퓨팅 성능을 갖추고 있어 매우 큰 규모의 계산을 제공하는 슈퍼컴퓨터입니다.
이제 이것이 우리가 안고 있는 문제로 이어집니다. 이러한 모델을 구축할 수 있는 자원과 능력을 갖춘 대기업은 현재 우리에게 이 서비스를 거의 제공하고 있지만 실제로 그 작업에 얼마나 많은 노력이 필요한지는 모르겠습니다. 오른쪽? 그럼 그게 예가 되는 거죠, 그렇죠? 완전히 중앙 집중화된 기업 제공업체로 이동하여 쿼리를 입력합니다. 알고 보니 소프트웨어 엔지니어링 팀이 아닌 결과 표시 방법을 결정하는 팀인 팀이 여러 개 있는 것으로 나타났습니다. 데이터세트에 어떤 데이터가 들어갈지 결정하는 팀이 있습니다.
예를 들어, 인터넷에서 데이터를 긁어보면 버락 오바마가 케냐에서 태어난 횟수와 버락 오바마가 하와이에서 태어난 횟수가 정확히 같습니다. 왜냐하면 사람들은 논쟁에 대해 추측하는 것을 좋아하기 때문입니다. 따라서 무엇을 훈련하고 싶은지 결정해야 합니다. 당신은 그것이 사실이라고 믿지 않기 때문에 일부 정보를 필터링하기로 결정했습니다. 따라서 이런 개인이 어떤 데이터를 사용할지 결정하고 존재한다면 그 결정은 만든 사람의 영향을 크게 받습니다. 법무팀에서는 우리가 볼 수 없는 콘텐츠가 저작권 보호를 받는 콘텐츠인지, 불법인지 판단하게 됩니다. 우리는 무엇이 비윤리적이고 어떤 콘텐츠를 보여주지 말아야 할지 결정하는 '윤리팀'을 갖고 있습니다.
그래서 어떤 면에서는 필터링과 조작이 많이 이루어지고 있습니다. 이러한 모델은 통계 모델입니다. 그들은 데이터에서 추출됩니다. 데이터에 뭔가가 없으면 답을 알 수 없습니다. 데이터에 뭔가가 있다면 그들은 그것을 사실로 취급할 가능성이 높습니다. 이제 AI로부터 답변을 받으면 걱정스러울 수 있습니다. 오른쪽. 이제 모델로부터 답을 얻어야 하지만 보장할 수는 없습니다. 결과가 어떻게 생성되었는지 알 수 없습니다. 회사는 특정 세션을 최고 입찰자에게 판매하여 실제로 결과를 변경할 수 있습니다. 당신이 어떤 차를 사야 하는지 물었을 때 Toyota가 Toyota를 선호한다고 판단하여 그렇게 하기 위해 10센트를 지불할 것이라고 상상해 보십시오.
따라서 이러한 모델을 중립적이고 데이터를 대표하는 지식 기반으로 사용하더라도 실제로 결과를 얻기 전에 매우 특정한 방식으로 결과를 편향시키는 많은 일이 발생합니다. 이것은 이미 많은 질문을 제기하고 있습니다. 그렇죠? 기본적으로 대기업과 언론 사이에 일주일 동안 다양한 법적 싸움이 벌어졌습니다. SEC, 거의 모든 사람들이 현재 서로를 기소하다 하려고 노력하고 있습니다. 이러한 모델이 너무 많은 불확실성과 힘을 생성하기 때문입니다. 그리고, 앞을 내다본다면, 문제는 거대 기술 기업들이 항상 계속해서 수익을 늘릴 수 있는 인센티브를 갖게 된다는 것입니다. 그렇죠? 예를 들어, 상장 회사인 경우 수익을 보고해야 하며 계속 성장해야 합니다.
이 목표를 달성하기 위해 이미 목표 시장을 점유하고 있다면 이미 20억 명의 사용자가 있다고 가정해 보겠습니다. 더 이상 인터넷에 새로운 사용자가 많지 않습니다. 평균 수익을 극대화하는 것 외에는 선택의 여지가 없습니다. 즉, 가치가 전혀 없는 사용자로부터 더 많은 가치를 클레임 하거나 이들의 행동을 바꿔야 한다는 의미입니다. 생성적 AI는 사용자 행동을 조작하고 변경하는 데 매우 능숙합니다. 특히 모든 것을 아는 지능의 형태로 제공된다고 생각하는 경우 더욱 그렇습니다. 그래서 우리는 많은 규제 압력이 있고 규제 기관이 이 기술이 어떻게 작동하는지 완전히 이해하지 못하는 매우 위험한 상황에 처해 있습니다. 우리는 사용자를 조작으로부터 보호하기 위해 거의 노력하지 않습니다.
조작된 콘텐츠, 오해를 불러일으키는 콘텐츠, 광고가 없어도 스크린샷을 찍고 제목을 변경하고 트위터에 게시하면 사람들이 미쳐버릴 것입니다. 귀하는 지속적으로 소득을 극대화할 수 있는 재정적 인센티브를 갖고 있습니다. 그리고 실제로 Google 내부에서 당신이 악한 일을 하고 있는 것은 아닙니다. 그렇죠? 어떤 모델을 출시할지 결정할 때 A 또는 B 테스트를 수행하여 어떤 모델이 더 많은 수익을 창출하는지 확인합니다. 따라서 귀하는 사용자로부터 더 많은 가치를 클레임 하여 지속적으로 수익을 극대화하고 있습니다. 더욱이 사용자와 커뮤니티는 모델의 내용, 사용된 데이터 또는 실제로 달성하려는 목표에 대한 입력이 없었습니다. 이는 애플리케이션 사용자의 경우입니다. 이것은 조정입니다.
이것이 바로 우리가 WEB 3와 AI의 통합을 지속적으로 장려하는 이유입니다. Web 3는 우리가 새로운 인센티브를 얻을 수 있게 해주는 중요한 도구일 수 있으며, 더 나은 소프트웨어와 제품을 생산하도록 장려하는 탈중앙화 형태이기도 합니다. 이것이 전체 Web 3 AI 개발의 전반적인 방향입니다. 이제 세부적인 이해를 돕기 위해 구체적인 부분에 대해 먼저 간단히 설명하겠습니다.
다시 말하지만, 언어 모델은 사람들이 정보를 조작하고 활용하는 방식에 엄청난 힘과 규모를 제공하지만 이것은 순수한 AI 문제는 아닙니다. 당신이 원하는 것은 다양한 콘텐츠를 볼 때 표시되는 추적 가능한 암호화폐 평판입니다. 따라서 실제로 암호화되어 모든 웹 사이트의 모든 페이지에서 사용할 수 있는 일부 커뮤니티 노드가 있다고 상상해 보십시오. 이제 그 이상으로 나아가면 이러한 모델이 거의 모든 콘텐츠를 읽고 개인화된 요약과 개인화된 출력을 제공하기 때문에 이러한 모든 배포 플랫폼이 중단될 것입니다.
그래서 우리는 실제로 새로운 창의적인 콘텐츠를 만들 수 있는 기회를 얻었고, 재발명을 시도하는 대신 기존 콘텐츠에 블록체인과 NFT를 추가해 보겠습니다. 새로운 출판물, 사진, YouTube, 음악 등 사람들이 생성하는 데이터가 모델 훈련에 얼마나 기여하는지에 따라 네트워크에 연결되는 모델 훈련 및 추론 시간을 중심으로 한 새로운 제작자 경제입니다. 따라서 이를 바탕으로 콘텐츠에 따라 전 세계적으로 일부 보상이 제공됩니다. 따라서 우리는 광고 네트워크에 의해 주도되는 눈길을 끄는 경제에서 실제로 혁신적이고 흥미로운 정보를 제공하는 경제로 전환하고 있습니다.
제가 언급하고 싶은 중요한 점 중 하나는 대량 불확실성이 부동 소수점 연산에서 비롯된다는 것입니다. 이러한 모든 모델에는 대량 부동 소수점 연산과 곱셈이 포함됩니다. 이는 불확실한 작업입니다.
이제 다른 GPU 아키텍처에서 이를 곱하면 됩니다. 따라서 A100과 H100을 선택하면 결과가 달라집니다. 따라서 암호경제학과 낙관주의 등 결정론에 의존하는 많은 접근 방식은 실제로 많은 어려움에 직면하게 되며 이를 달성하기 위해서는 많은 혁신이 필요합니다. 마지막으로 흥미로운 아이디어가 있습니다. 우리는 프로그래밍 가능한 통화와 프로그래밍 가능한 자산을 구축해 왔지만 여기에 이러한 지능을 추가한다고 상상해 볼 수 있다면 이제 코드로 정의되지 않는 스마트 자산을 가질 수 있습니다. 오히려 그것은 능력으로 정의됩니다. 세상과 소통하기 위한 자연어죠? 그곳이 바로 우리가 흥미로운 수익률 최적화, DeFi를 많이 가질 수 있는 곳이고, 세계 내에서 거래 전략을 세울 수 있는 곳입니다.
이제 문제는 현재 이벤트 중 어느 것도 강력한 동작을 가지고 있지 않다는 것입니다. 훈련의 목적은 다음 토큰을 예측하는 것이기 때문에 적대적으로 강해지도록 훈련되지 않습니다. 따라서 모델이 귀하에게 모든 돈을 주도록 설득하는 것이 더 쉬울 것입니다. 계속하기 전에 실제로 이 문제를 해결하는 것이 중요합니다. 그래서 저는 이 아이디어를 여러분에게 남기고 싶습니다. 우리는 교차로에 있습니다. 그렇죠? 제품을 출시하면 대량 수익을 창출하고 그 수익을 제품 구축에 투자하기 때문에 극도의 인센티브와 플라이휠을 갖춘 폐쇄형 AI 생태계가 있습니다. 그러나 제품은 본질적으로 회사의 수익을 극대화하고 그에 따라 사용자로부터 가치를 클레임 설계되었습니다. 또는 사용자가 제어할 수 있는 개방형 사용자 소유 접근 방식이 있습니다.
이러한 모델은 실제로 귀하의 이익을 극대화하기 위해 귀하에게 유리하게 작용합니다. 이는 인터넷의 많은 위험으로부터 귀하를 진정으로 보호할 수 있는 방법을 제공합니다. 이것이 바로 AI x Crypto의 더 많은 개발과 적용이 필요한 이유입니다. 다들 감사 해요.
