Openai的founder Ilya最近一起的访谈利用周末时间好好细读了下。Ilya的这个访谈值得好好看几遍,除了讲了从scaling时代正迈向研究时代(不能只靠算力不断的扩展来实现更智能),我印象最深的是他的关于“研究品味“。
这个品味,是在研究过程中,让他能在研究高度不确定的事物时,如何通过自己的品味(信念和经验)自上而下的去验证,这个信念在AI里核心就是神经网络的拟人化(人的大脑的原理)。这些品味的感觉是基础的,当实验与信念不一致时,有时可能因为数据本身出了bug导致的,但如果只看当下和能看到的数据等已知事物,可能就无法找到真正正确的路线。
这个研究品味不单单可以用在AI LLM研究上,不管你是创业,你是做投资,撸空投,做新产品等等,这些都是在面对高度不确定的事情。你的品味,就是你对事物基本的本质认知,或则一些事物的基本规律等等基础维度。
比如当你是一个产品经理,当你看到一个功能几乎没人用,如果以此推论,可能用户没有这个需求,你把他砍掉了,但也有可能是你的设计出了问题,用户没有注意到这个功能。当你是一个没有产品品味的人时,可能只看你能看到的局部信息来做了决策和选择。
回想很多年前,在csdn上看到深度学习的技术文章讲解的是如果通过RNN实现加减乘除的计算,当时只是觉得很神奇,但是Ilya当时的好奇心已经联想到既然能做加减乘除的预测,就应该能做其他更复杂的事情。并且他意识到神经网络基础是来自于模拟大脑的结构作为理论基础,这两个点对Ilya探索LLM的智能化研究起到了重要的基础品味的积累。

空投汇总
订阅人数 75400
来自推特
免责声明:以上内容仅为作者观点,不代表Followin的任何立场,不构成与Followin相关的任何投资建议。
喜欢
收藏
评论
分享






