이 기사는 기계로 번역되었습니다
원문 표시

여러분, 제 생각에 이게 차세대 오픈클로가 될 것 같아요. 카르파티는 AI 에이전트에게 2일 동안 신경망 학습 코드 최적화를 맡겼습니다. 에이전트는 700개의 실험을 자율적으로 실행했고, 수개월간의 수동 튜닝 과정에서 놓쳤던 20개의 개선점을 발견했습니다. 그 결과 성능이 11% 향상되었습니다. 에이전트는 버그를 발견했습니다. 하이퍼파라미터를 조정했습니다. 누락된 정규화를 발견했습니다. 이전 결과를 바탕으로 자체 실험을 계획했습니다. 카르파티는 무엇을 했나요? "program.md을 프로그래밍했습니다." 이 사람은 20년 동안 이와 똑같은 작업 과정을 수작업으로 해 온 사람입니다. 테슬라 오토파일럿을 직접 개발하기도 했죠. 그의 반응은 "놀랍다"였습니다. 이게 왜 오픈클로 수준인가요? 오픈클로는 하나의 로봇이 하나의 작업을 학습하는 것이 아니었기 때문입니다. 그것은 에이전트들이 일련의 행동들을 수행할 수 있도록 하는 프레임워크였습니다. 연구/실험 자체에서도 똑같은 일이 일어났습니다. 카르파티는 이미 다중 에이전트 협업을 통한 2차 라운드를 준비하고 있습니다. 그는 분명하게 말했습니다. "프론티어 랩의 모든 부서가 이 작업을 수행할 것입니다. 이것이 최종 보스전입니다." 하지만 시야를 더 넓혀보면, 그의 진정한 통찰력은 다음과 같습니다. "평가하기에 합리적으로 효율적인 모든 지표는 에이전트 스웜(Swarm) 에 의해 자동으로 조사될 수 있습니다." 평가하기에 합리적으로 효율적인 모든 중요한 지표는 에이전트 스웜(Swarm) 에 의해 자동으로 조사될 수 있습니다. 광고비 지출, 공급망, 에너지망, 신약 개발, 거래 전략 이더리움 클래식(ETC) 자동 조사가 가능한 모든 항목은 자동 조사될 것입니다. 이제 우리는 스웜(Swarm) 을 위한 인프라가 필요합니다.

Andrej Karpathy
@karpathy
03-10
Three days ago I left autoresearch tuning nanochat for ~2 days on depth=12 model. It found ~20 changes that improved the validation loss. I tested these changes yesterday and all of them were additive and transferred to larger (depth=24) models. Stacking up all of these changes,
섹터:
Twitter에서
면책조항: 상기 내용은 작자의 개인적인 의견입니다. 따라서 이는 Followin의 입장과 무관하며 Followin과 관련된 어떠한 투자 제안도 구성하지 않습니다.
라이크
즐겨찾기에 추가
코멘트