福島的視頻(1986 年)展示了一個能夠識別手寫數字的 CNN [3],這比勒昆的視頻(1989 年)早了三年。
CNN時間線取自[5]:
★ 1969 年:福島邦彥發表了修正線性單元或 ReLU [1],現在 ReLU 已廣泛應用於 CNN 中。
★ 1979年:福島昭發表了包含卷積層和下采樣層的基本卷積神經網絡(CNN)架構[2]。他稱之為新認知機(neocognitron)。它通過無監督學習規則進行訓練。當時的計算成本是1989年的100倍,是今天的10億倍。
★ 1986 年:福島關於識別手寫數字的視頻[3]。
★ 1988 年:魏章等人開發了第一個通過反向傳播訓練的“現代”二維 CNN,並將其應用於字符識別[4]。當時的計算成本比現在高出約 1000 萬倍。
★ 1989 年 - :其他人的後續作品 [5]。
參考文獻(更多內容見[5])
[1] K. Fukushima (1969). Visual feature extraction by a multilayered network of analog Threshold elements. IEEE Transactions on Systems Science and Cybernetics. 5 (4): 322-333. 這項工作引入了修正線性單元(ReLU),現在廣泛應用於卷積神經網絡(CNN)和其他神經網絡中。
[2] K. Fukushima (1979). 不受位置偏移影響的模式識別機制神經網絡模型——新認知器。IECE學報,J62-A卷,第10期,658-665頁,1979年。第一個深度卷積神經網絡架構,具有交替的卷積層和下采樣層。日文版。英文版:1980年。
[3] 由福島健一、三宅慎一和伊藤俊彥(NHK科學技術研究所)於1986年製作的電影。YouTube:youtube.com/watch?v=oVYCjL54qo...…
[4] W. Zhang, J. Tanida, K. Itoh, Y. Ichioka. 移位不變模式識別神經網絡及其光學架構. 日本應用物理學會年會論文集,1988. 第一個“現代”反向傳播訓練的二維 CNN,應用於字符識別。
[5] J. Schmidhuber(AI Blog,2025)。誰發明了卷積神經網絡?x.com/SchmidhuberAI/status/195...…