avatar
Jürgen Schmidhuber
67,145個推特粉絲
關注
Invented principles of meta-learning (1987), GANs (1990), Transformers (1991), very deep learning (1991), etc. Our AI is used many billions of times every day.
動態
avatar
Jürgen Schmidhuber
12-02
福島的視頻(1986 年)展示了一個能夠識別手寫數字的 CNN [3],這比勒昆的視頻(1989 年)早了三年。 CNN時間線取自[5]: ★ 1969 年:福島邦彥發表了修正線性單元或 ReLU [1],現在 ReLU 已廣泛應用於 CNN 中。 ★ 1979年:福島昭發表了包含卷積層和下采樣層的基本卷積神經網絡(CNN)架構[2]。他稱之為新認知機(neocognitron)。它通過無監督學習規則進行訓練。當時的計算成本是1989年的100倍,是今天的10億倍。 ★ 1986 年:福島關於識別手寫數字的視頻[3]。 ★ 1988 年:魏章等人開發了第一個通過反向傳播訓練的“現代”二維 CNN,並將其應用於字符識別[4]。當時的計算成本比現在高出約 1000 萬倍。 ★ 1989 年 - :其他人的後續作品 [5]。 參考文獻(更多內容見[5]) [1] K. Fukushima (1969). Visual feature extraction by a multilayered network of analog Threshold elements. IEEE Transactions on Systems Science and Cyber​​netics. 5 (4): 322-333. 這項工作引入了修正線性單元(ReLU),現在廣泛應用於卷積神經網絡(CNN)和其他神經網絡中。 [2] K. Fukushima (1979). 不受位置偏移影響的模式識別機制神經網絡模型——新認知器。IECE學報,J62-A卷,第10期,658-665頁,1979年。第一個深度卷積神經網絡架構,具有交替的卷積層和下采樣層。日文版。英文版:1980年。 [3] 由福島健一、三宅慎一和伊藤俊彥(NHK科學技術研究所)於1986年製作的電影。YouTube:youtube.com/watch?v=oVYCjL54qo...… [4] W. Zhang, J. Tanida, K. Itoh, Y. Ichioka. 移位不變模式識別神經網絡及其光學架構. 日本應用物理學會年會論文集,1988. 第一個“現代”反向傳播訓練的二維 CNN,應用於字符識別。 [5] J. Schmidhuber(AI Blog,2025)。誰發明了卷積神經網絡?x.com/SchmidhuberAI/status/195...…
Chubby
@kimmonismus
11-28
Yann LeCun’s 1989 convolutional neural network demo, the foundation for the CNNs we still use today. It's amazing how far we've come since then!
-- 到底啦 --