이 팟캐스트와 개빈의 AI 관련 생각을 담은 게시글을 들었습니다. 그는 사전 학습 확장 법칙이 성립한다고 매우 확신하는 것 같은데, 저는 솔직히 잘 모르겠습니다. 논의는 컴퓨팅 성능 향상이 사전 학습을 가속화한다는 점에 초점을 맞추고 있지만, 정의상 확장을 위해서는 데이터 양도 그에 비례하여 증가해야 하지 않을까요? 우리 모두 일리야의 유명한 사전 학습 데이터에 대한 이야기를 알고 있으니, 제 질문은 당연히 이 데이터가 어디에서 오는가 하는 것입니다. 많은 사람들이 합성 데이터를 사전 학습에 사용하는 것을 이야기하는 것 같은데, 저는 그 아이디어가 영 마음에 들지 않습니다. 저는 모델이 자체적으로 사전 학습 데이터를 생성하는 방식은 시스템이 발전하지 못하고 악순환에 빠지게 될 거라는 직관적인 느낌을 가지고 있었습니다. 다른 생성자가 만든 새로운 데이터에 노출되지 않고 고립된 환경에서 학습하기 때문이죠. 하지만, 자체 생성된 시너지 데이터를 활용한 사전 학습의 장점과 한계에 대한 논문을 실제로 읽어본 적은 없습니다. 이와 비슷한 생각을 가진 분이나 관련 연구 자료를 공유해 주실 분이 계신가요? 참고로, 이는 훈련 전 단계에 대한 질문이며, SFT 훈련 후 단계 이더리움 클래식(ETC) 대한 질문은 아닙니다.