구글 딥마인드가 "신의 시선" 프로젝트인 새로운 알파어스 파운데이션(AlphaEarth Foundations)을 출시했습니다. 10미터 해상도로 전례 없는 지구의 디지털 초상화를 만들어냅니다. 네티즌들은 "이게 바로 '지구를 위한 ChatGPT' 아닌가요?"라고 감탄하고 있습니다.
방금 알파 패밀리에 새로운 제품이 출시되었습니다!
이번에 구글 딥마인드는 인간이 "신의 관점"을 열도록 도왔습니다. 새로운 알파어스 재단은 놀라울 정도로 세부적으로 지구 전체를 지도화하고 있습니다.
페타바이트 수준의 지구 관측 데이터를 통합하여 통합된 데이터 표현을 생성합니다.
구체적으로, AlphaEarth Foundations는 지구상의 모든 10x10미터 격자의 정보를 총 64차원의 효율적인 데이터로 압축합니다.
10m의 해상도는 지구의 모든 곳을 선명하게 볼 수 있을 만큼 충분합니다.
구글은 1년 동안의 다양한 위성 데이터의 핵심 내용을 10미터 정사각형 픽셀로 압축했습니다.
AlphaEarth Foundations의 독창성은 강력한 "특징 학습" 기능에 있습니다.
복잡한 임베딩 기술을 통해 이 모델은 광학, 레이더, 3D 데이터에서 주요 특징을 클레임 해변과 사막, 숲과 농경지를 쉽게 구분할 수 있습니다.
이 기능을 통해 다른 AI 및 기존 방식보다 우수한 성과를 거두어 오류율을 24%까지 줄일 수 있습니다.
같은 날, 구글 팀은 63페이지 분량의 포괄적인 기술 보고서도 발표했습니다.
논문 주소: https://storage.googleapis.com/deepmind-media/DeepMind.com/Blog/alphaearth-foundations-helps-map-our-planet-in-unprecedented-detail/alphaearth-foundations.pdf
알파어스 재단은 마치 "가상 위성"과 같아서, 인간에게 지구의 맥박을 들여다볼 수 있는 창문을 제공합니다.
이를 통해 과학자들은 지구 역학을 더욱 빠르고 효율적으로 분석하고, 작물 건강을 모니터링하고, 삼림 벌채를 추적하고, 기후 변화와 같은 글로벌 문제를 해결할 수 있습니다.
한 네티즌은 Google이 "ChatGPT의 Earth 버전"을 구축하는 데 중요한 단계를 밟았다고 칭찬했습니다.
질문은, 왜 지구 모델의 AI 버전이 필요한가?
64차원 초고정밀도 '가상위성' AI 버전 첫 공개
위성은 매일 우주에서 지구의 변화를 1인치도 빠짐없이 포착하여 엄청난 양의 이미지와 관측 데이터를 생성합니다.
이러한 데이터는 과학자와 의사결정권자들에게 지구에 대한 거의 실시간의 파노라마 보기를 제공합니다.
지난 15년 동안 Earth Engine 플랫폼은 지구 관측 이미지와 공간 데이터를 공개했고, 이는 우리가 지구를 이해하는 방식을 완전히 바꾸어 놓았습니다.
그러나 복잡성, 다중 모드성, 새로 고침 빈도는 새로운 과제를 야기합니다. 즉, 이기종 데이터 세트를 연결하고 효율적으로 사용하는 방법은 무엇일까요?
AlphaEarth Foundations의 탄생은 이 문제를 해결하는 확실한 무기가 되었습니다.
이는 "가상 위성"이라고 불리는 AI 모델로, 방대한 양의 구형 관측 데이터를 컴퓨터 시스템에서 쉽게 처리할 수 있는 통합된 디지털 표현(즉, "임베딩")으로 통합할 수 있습니다.
궁극적으로, 전례 없는 수준으로 지구의 모든 육지와 해안 수역을 지도에 표시했습니다.
AlphaEarth Foundations는 과학자들에게 지구 진화에 대한 더욱 완전하고 일관된 그림을 제공할 뿐만 아니라 식량 안보, 삼림 벌채, 도시 확장, 수자원 관리와 같은 분야에서 더욱 정보에 입각한 결정을 내릴 수 있도록 돕습니다.
작동 원리
AlphaEarth Foundations는 "데이터 과부하"와 "정보 불일치"라는 두 가지 주요 과제를 해결함으로써 지구를 이해하는 새로운 관점을 제공합니다.
첫째, 광학 위성 이미지, 레이더, 3D 레이저 매핑, 기후 시뮬레이션 등 다양한 공공 소스에서 얻은 방대한 양의 정보를 통합합니다.
이 모든 정보를 통합한 후 10x10미터의 선명한 해상도로 전 세계 육지와 해안 수역을 초고정밀도로 분석하여 시간에 따른 지구 변화를 추적합니다.
둘째, 이 데이터에 쉽게 접근할 수 있습니다.
이 시스템의 핵심 혁신은 각 사각형 영역에 대해 매우 간결한 숫자 요약을 생성하는 기능입니다.
이러한 요약은 다른 AI 시스템보다 16배 적은 저장 공간을 사용하여 지구적 규모의 분석 비용을 크게 절감합니다.
이 획기적인 기술 덕분에 과학자들은 지금까지 불가능했던 일을 해낼 수 있게 됐습니다. 요구에 맞춰 자세하고 일관된 세계 지도를 만드는 것이죠.
AlphaEarth Foundations는 비디오 시퀀스에서 불균일하게 샘플링된 프레임을 클레임 특정 시점의 위치를 색인화합니다. 이를 통해 모델은 대량 측정 데이터를 해석하는 동시에 해당 장소에 대한 연속적인 뷰를 구성할 수 있습니다.
작물 건강 상태를 모니터링하든, 삼림 벌채를 추적하든, 새로운 건설을 관찰하든, 더 이상 머리 위를 나는 위성에만 의존할 필요가 없습니다.
이제 그들은 새로운 종류의 "지리공간 데이터 기반"을 갖추게 되었습니다.
AlphaEarth Foundations는 엄격한 테스트를 거쳐 탁월한 정확성을 입증했습니다.
토지 이용을 파악하고 표면 속성을 추정하는 등 다양한 시간대에 걸쳐 다양한 작업을 수행하는 데 탁월합니다.
중요한 점은 태그 데이터가 부족한 경우에도 오류율이 다른 모델보다 평균 24% 낮다는 것입니다. 이는 놀라운 학습 효율성을 보여줍니다.
전역 임베딩 필드는 개별 임베딩으로 분해됩니다(왼쪽에서 오른쪽으로). 각 임베딩은 64차원 구면의 좌표점에 매핑되는 64개의 구성 요소를 포함합니다.
아래에 생성된 지도 데이터에서 AlphaEarth Foundations는 64개의 차원을 포함하고 각각 빨간색, 초록색, 파란색에 세 가지 색상을 할당하여 우리 세계의 풍부한 세부 정보를 시각화합니다.
에콰도르에서는 이 모델이 지속적인 구름 덮개를 뚫고 나가 다양한 개발 단계의 농경지에 대한 자세한 이미지를 제공할 수 있었습니다.
다른 곳에서는 남극 대륙의 복잡한 표면을 명확하게 지도로 표시했습니다. 이 지역은 위성 이미지가 불규칙해서 이미지를 촬영하기 어려운 지역으로 악명이 높습니다.
더욱이 이를 통해 육안으로는 볼 수 없는 캐나다 농경지 이용의 차이점이 드러났습니다.
다음으로, AlphaEarth Foundations가 생성한 데이터 세트의 힘을 자세히 살펴보겠습니다.
10x10 픽셀, 1년치 데이터 압축
Google 팀은 AlphaEarth Foundations를 사용하여 2017년부터 현재까지 매년 10미터 해상도의 글로벌 사전 계산 임베딩 데이터 세트를 생성했습니다.
이러한 "임베디드" 이미지는 일반적인 Earth Engine 이미지 컬렉션처럼 보일 수 있지만, 모든 픽셀에 AI 기반 기능 클레임 기능이 통합되어 있습니다.
"임베딩" 벡터에는 어떤 정보가 포함되어 있나요?
다중 소스 측정 데이터
임베딩 벡터는 표면 속성의 의미 정보를 포착하기 위해 여러 데이터 소스에서 학습됩니다.
예를 들어, 픽셀을 임베딩하면 스펙트럼 특성만 반영되는 것이 아니라 주변 환경, 계절 변화(식생 페놀로지, 눈 덮임 등), 지형 및 기후 특성도 포함됩니다.
· 시공간 배경
AlphaEarth Foundations는 전 세계 500만 개 이상의 위치에서 샘플링된 30억 개 이상의 독립적인 이미지 프레임을 기반으로 훈련을 받았습니다.
이 모델은 시간 경과에 따른 특정 위치의 위성 이미지를 비디오의 연속적인 프레임으로 처리합니다.
이를 통해 공간, 시간 및 측정 모드에 따른 학습이 가능해져 시간적 궤적을 보존하면서 공간적 맥락을 포착하는 임베딩이 생성됩니다.
즉, 위성 임베딩 데이터세트의 각 임베딩 벡터는 지구 표면의 각 10미터 픽셀(100제곱미터)의 상태를 매우 압축적이고 의미적으로 풍부한 표현을 제공한다는 의미입니다.
10미터 픽셀을 내장하면 주변 지역에 대한 정보도 수집됩니다.
따라서 일부 영역(주차장의 아스팔트 표면과 고속도로 등)이 고립되어 볼 때 매우 유사하더라도, 이들의 임베딩 벡터는 매우 다를 수 있습니다.
· 64차원에서 지구 보기: 좌표와 대역
데이터 세트에 내장된 위성 이미지는 64개 대역을 가지고 있지만, 이는 기존의 광학 반사율이나 레이더 반사율과 동일하지 않습니다.
반면, AlphaEarth Foundations 임베딩의 단일 픽셀의 64개 "밴드"는 64차원 "구"의 64차원 좌표를 나타냅니다.
이러한 좌표는 DL에 의해 생성되며 수학적으로 해석 가능하지만, 직접적인 물리적 측정값은 아닙니다. 대신, 고차원 측정 공간을 압축적으로 표현한 것입니다.
"위성 임베딩"은 본질적으로 64차원 "구" 표면의 좌표점입니다.
과학자들은 위성 임베딩 데이터 세트를 사용하여 "유사성 검색"을 수행할 수 있었습니다.
대상 픽셀만 선택하면 임베딩 벡터가 간단한 내적 계산을 통해 글로벌 규모에서 유사한 표면 및 환경 조건을 가진 영역을 빠르게 찾아낼 수 있습니다.
뉴욕 시내의 임베딩 벡터는 다른 고도로 도시화된 지역의 임베딩 벡터와 쉽게 일치합니다.
좌표 73.9812, 40.7628(뉴욕시, 맨해튼 미드타운, 미국)에 대한 유사도 검색
더욱이 유사성 기반 비교는 시간적 차원에도 적용 가능하며 임베딩 기반 변경 감지 및 안정성 모니터링에 사용될 수 있습니다.
AlphaEarth Foundations의 임베딩 공간은 시간이 지나도 일관성을 유지하도록 설계되었습니다.
같은 픽셀의 임베딩 벡터를 여러 해에 걸쳐 비교하면 도시 확장, 산불 복구, 저수지 수위 변화 등을 쉽게 모니터링할 수 있습니다.
다음 그림은 2020년과 2024년 사이에 임베딩 공간에서 관찰된 몇 가지 변화를 보여줍니다. 각 행의 마지막 그림은 각 픽셀의 자체 유사성을 보여줍니다(값이 밝을수록 차이가 더 큼). 이는 다음 유형의 변화에 해당합니다.
교외 확장
산불 이후의 땅은 화재 이전에 삼림이 벌채되었던 지역과 섞여 있습니다.
가뭄기부터 물 공급기까지 인공 저수지의 변화
연도별 농경지 변화를 통해 작물 주기와 휴경 기간과 같은 연중 동태를 어떻게 포착할 수 있는지 보여줍니다.
또한 Earth Engine의 ee.Clusterer 알고리즘과 결합된 임베딩 벡터는 사전 레이블 지정 없이 픽셀을 다양한 토지 표면 유형(예: 산림, 토양, 도시 지역)으로 자동으로 클러스터링합니다.
이를 통해 숨겨진 지형적 패턴을 밝혀내고 지형학적, 수문학적, 생물학적 특성 연구에 도움이 될 수 있습니다.
Earth용 ChatGPT, 주문형 지도 제작
현재 AlphaEarth Foundations가 주도하는 Satellite Embedding 데이터 세트는 Earth Engine에서 가장 큰 데이터 세트 중 하나입니다.
매년 1조 4천억 개 이상의 "내재된" 발자국이 생깁니다.
유엔 식량 농업 기구, 하버드 포레스트, 지구관측그룹, MapBiomas, 오리건 주립대학교 등 전 세계 수많은 기관이 이 데이터 세트를 사용하여 맞춤형 지도를 만들고 실제 세계에 대한 통찰력을 얻었습니다.
실제 적용에서 AlphaEarth Foundations는 초기 성과를 달성했습니다.
글로벌 생태계 지도 프로젝트는 데이터 세트를 사용하여 지도에 표시되지 않은 생태계를 해양 관목과 극건조 사막과 같은 범주로 분류합니다.
이 최초의 리소스는 국가가 보호 구역을 우선시하고, 생태 복원을 촉진하고, 생물다양성 손실을 억제하는 데 중요한 지원을 제공합니다.
브라질의 "MapBiomas" 프로젝트도 있는데, 이 데이터 세트를 테스트하여 농업 및 환경 변화에 대한 더 깊은 이해를 얻었으며 아마존 열대 우림과 같은 주요 생태계의 보존 전략과 지속 가능한 개발 이니셔티브에 대한 정보를 제공합니다.
알파어스 재단은 인류가 지구 역학을 이해하는 데 있어 중요한 진전을 나타냅니다.
다음으로, Google 팀은 이를 사용하여 연간 임베딩을 생성하고 강력한 Gemini와 결합하여 효과를 극대화합니다.
Google Earth AI의 일환으로 그들은 또한 모델의 시계열 기능을 적용하는 가장 좋은 방법을 계속해서 탐색할 것입니다.
참고문헌:
https://x.com/빌라왈시드후/상태/1950580970907648234
https://deepmind.google/discover/blog/alphaearth-foundations-helps-map-our-planet-in-unprecedented-detail/
https://medium.com/google-earth/ai-powered-pixels-introducing-googles-satellite-embedding-dataset-31744c1f4650
본 기사는 위챗 공개 계정 "Xinzhiyuan" 에서 발췌하였으며, 저자는 Xinzhiyuan이고, 36Kr.의 출판 허가를 받았습니다.
