avatar
链研社
73,125명의 트위터 팔로워
팔로우하기
穿越牛熊的数据派交易员|运营老炮|Web3创业OG|币安广场创作者,奉行周期大于一切,关注真正影响投资决策的信息
포스팅
avatar
链研社
중국 해시레이트 의 '효율성 혁명'은 스토리지 생산 라인 확장보다 훨씬 효과적입니다. 역설적이게도 중국 AI 기업들은 더 적은 메모리로도 비슷한 결과를 내고 있으며, 관련 논문들은 오픈소스로 공개되어 있습니다. 이는 해외 주요 기업인 OpenAI, Anthropic, Gemini의 추론 비용을 10분의 1 수준으로 줄여 총이익을 증가시키고, 동시에 메모리 요구량도 10분의 1 수준으로 감소시킬 수 있습니다. 딥시크의 MLA 아키텍처, KV 캐싱 최적화, 그리고 다양한 모델 양자화 기술을 예로 들면, 이러한 기술들은 추론 단계에서 GPU 메모리 사용량과 대역폭 요구량을 직접적이고 크게 줄여 토큰 하나 생성 비용을 급격히 낮추는 결과를 가져왔습니다. 즈푸의 초고속 추론과 알리바바 및 샤오미의 첸원 캐싱 비용은 10분의 1로 줄어들었습니다. 이러한 기술들의 핵심은 무엇일까요? 바로 알고리즘 압축 효율을 향상시키고 해시레이트 활용을 극대화하는 데 초점을 맞추고 있다는 점입니다. 하지만 시장은 낡은 지도를 이용해 새로운 길을 찾고 있습니다. 미국 AI 기업들은 여전히 ​​막대한 자본 지출을 쏟아부으며 대규모 생산 능력과 해시레이트 미리 확보하고 있습니다. 7천억 달러에 달하는 자본 지출은 AI 산업의 상하류 전체를 들썩이게 할 만큼 충분한 규모입니다. 이러한 논리는 옳습니다. 해시레이트 와 메모리에 대한 수요는 여전히 엄청나고 성장 속도도 빠릅니다. 그러나 문제는 이러한 논리가 또 다른 흐름을 간과하고 있다는 점입니다. 바로 중국의 해시레이트 최적화 효율성 향상 여지가 놀라울 정도로 크다는 것입니다. 모두들 "물 장수"들이 계속 돈을 벌 수 있을 거라고 예상했지만, 금광 채굴자들이 갑자기 물을 재활용하는 방법을 터득했다는 사실은 아무도 눈치채지 못했다. 만약 중국 AI 기업들이 메모리 사용 효율을 50% 더 낮춘다면, 자본에 의해 기업 가치가 부풀려지고 있는 스토리지 관련 주식의 전망은 여전히 ​​유효할까요? 현재 AI 하드웨어 산업의 과도한 이윤은 고성능 HBM(고대역폭 메모리)에 대한 절대적인 의존에 크게 기반하고 있습니다. 만약 모델용 메모리 수요가 크게 감소한다면, 기존 선두 제조업체들의 독점적 이윤이 무너질 수 있으며, 자본 지출에 의존하여 기업 가치를 유지하는 스토리지 및 해시레이트 관련 주식의 근본적인 논리가 약화될 수 있습니다. 시장에서 중국의 알고리즘 계층 효율성 혁명이 실제로 얼마나 많은 메모리를 절약할 수 있을지 진지하게 계산하는 사람은 아무도 없는 것 같습니다. 하지만 객관적으로 볼 때, 추론 비용과 메모리 사용량이 50% 감소한다면 AI 에이전트의 API 호출 빈도가 24시간 내내 급증하고 AI 애플리케이션이 폭발적으로 증가할 수 있습니다. 호출당 사용되는 데이터 양이 줄어들더라도 전체 호출 빈도가 10배 증가한다면 메모리와 해시레이트 에 대한 절대적인 수요는 여전히 기하급수적으로 늘어날 것입니다. 중국의 해시레이트 스토리지 생산 라인 확장보다 효율적이며, 기존 선두 제조업체들의 독점적 지위를 무너뜨릴 가능성이 있습니다. 이는 현재 주목해야 할 리스크 이며, 해시레이트 효율성이 어디까지 향상될 수 있는지, 그리고 앞으로도 지속적으로 개선 및 최적화될 수 있는지 여부 또한 중요한 관전 포인트입니다. 불확실한 것은 이 "가격 미정" 기간이 얼마나 지속될지입니다. 3개월일 수도 있고, 1년일 수도 있습니다.
avatar
链研社
이 그룹 구성원이 만든 오픈 소스 프로젝트인 plan-tree를 추천합니다. plan-tree는 AI와의 모든 논의(해결책, 결정 사항, 현재 진행 상황, 다음 단계 등)를 마크다운 형식의 계획 트리로 정리하는 방식을 채택하고 있습니다. plan-tree는 사용자의 결정을 대신 내려주는 것이 아니라, 사용자의 결정을 더욱 명확하고 완벽하게 만들어 줍니다. plan-tree는 AI 프로그래밍에서 가장 중요한 두 가지 문제를 해결합니다. 첫째, 비용을 절감합니다. 새로운 세션을 시작할 때마다 계획 트리에 직접 입력하기만 하면 되므로 배경 설명을 다시 할 필요가 없습니다. 둘째, 생각을 더욱 깊이 하도록 유도합니다. 계획 트리에 결정을 입력하다 보면 "거의 이해했다"라고 생각했던 내용들이 실제로는 "불분명하다"는 것을 알게 될 것입니다. 모호한 이해를 구조화된 텍스트로 변환하는 과정 자체가 사고를 명확하게 해줍니다. plan-tree는 "대규모 루프" 워크플로를 사용합니다. 먼저, 실행 가능한 해결책을 충분히 논의하고, 명확히 하고, 문서화합니다. 그런 다음 AI가 이러한 해결책들을 일괄적으로 실행합니다. 실행 후 진행 상황, 증거, 그리고 남은 문제점들을 계획 트리에 다시 기록하세요. 나무를 먼저 심고, 기계가 나무를 자르도록 하세요. 저는 이것이 AI 프로그래밍에 대한 올바른 접근 방식이라고 생각합니다. 생각해 보세요. AI 시대에 가장 부족한 자원은 실행 능력이 아니라(AI가 실행 능력은 제공합니다), 방향 감각입니다. "내가 무엇을 하고 있는지, 왜 하고 있는지, 그리고 다음에 어디로 가야 하는지"를 아는 그런 방향 감각 말입니다. 계획 트리는 이러한 명확성을 유지하는 데 도움이 되는 도구입니다. AI의 기능 구현에서 발생하는 편차를 줄일 수 있습니다. 비슷한 문제를 겪고 있다면 한번 시도해 보시길 권합니다.
huangserva
@servasyy_ai
🔥🔥Strongly recommend this group member's work!! It has helped me tremendously with my recently developed multi-Agent product! It transforms short-term plans into a long-term, stable, and structured tree. plan-tree is a skill for long-term preservation of project planning
loading indicator
Loading..