我听了这个节目，也看了 Gavin 关于人工智慧的思考贴文。他似乎对预训练的扩展规律非常有信心，但我却……不太确定？他的论点主要集中在运算能力的进步如何推动预训练，但从定义上讲，要实现扩展，资料量也需要相应增加，对吧？ 我们都知道伊利亚关于预训练资料的著名论断，所以我的问题当然是：这些资料从何而来？似乎有人认为预训练数据是合成数据，但我一直觉得这种说法不太对劲。 我一直凭直觉认为，模型自行产生资料进行预训练会导致系统陷入混乱的恶性循环，无法进步。它是在孤立地学习，无法接触到来自不同创建者的新资料。但是，我还没有读到任何关于使用自生成协同资料预训练模型的益处或限制的论文。 有其他人有类似的想法或研究可以参考吗？需要说明的是，我这里指的是训练前阶段，而不是SFT训练后阶段等等。