후쿠시마의 비디오(1986)는 LeCun의 비디오(1989)보다 3년 앞서 손으로 쓴 숫자를 인식하는 CNN을 보여줍니다.[3]
[5]에서 가져온 CNN 타임라인:
★ 1969: Kunihiko Fukushima는 현재 CNN에서 널리 사용되는 정류 선형 단위(ReLU)[1]를 발표했습니다.
★ 1979년: 후쿠시마는 컨볼루션 레이어와 다운샘플링 레이어를 갖춘 기본 CNN 아키텍처를 발표했습니다. [2] 그는 이를 네오코그니트론이라고 불렀습니다. 이는 비지도 학습 규칙에 의해 훈련되었습니다. 컴퓨팅 비용은 1989년보다 100배, 오늘날보다 10억배 더 비쌌습니다.
★ 1986: 후쿠시마의 손으로 쓴 숫자 인식에 관한 비디오[3].
★ 1988: Wei Zhang et al은 역전파를 통해 훈련된 최초의 "현대적인" 2차원 CNN을 만들고 이를 문자 인식에 적용했습니다[4]. 당시 컴퓨팅 비용은 오늘날보다 약 1000만 배 더 비쌌습니다.
★ 1989년~: 다른 사람들의 후속 작업[5].
참고문헌([5] 참조)
[1] K. Fukushima (1969). 아날로그 스레스홀드(Threshold) 요소의 다층 네트워크에 의한 시각적 특징 추출. IEEE 시스템 과학 및 사이버네틱스 거래. 5(4): 322-333. 이 연구는 현재 CNN 및 기타 신경망에서 널리 사용되는 정류 선형 단위(ReLU)를 도입했습니다.
[2] K. Fukushima (1979). 위치 이동에 영향을 받지 않는 패턴 인식 메커니즘을 위한 신경망 모델—네오코니트론. Trans. IECE, vol. J62-A, no. 10, pp. 658-665, 1979. 교대 컨볼루션 레이어와 다운샘플링 레이어를 갖는 최초의 심층 컨볼루션 신경망 아키텍처. 일본어. 영어 버전: 1980.
[3] 1986년 K. 후쿠시마, S. 미야케, T. 초기 토큰 제공(ITO) (NHK 과학기술연구소)가 제작한 영화. YouTube: youtube.com/watch?v=oVYCjL54qo...…
[4] W. Zhang, J. Tanida, K. Itoh, Y. Ichioka. Shift-invariant 패턴 인식 신경망 및 광학 아키텍처. 1988년 일본 응용물리학회 연례 학술대회 논문집. 문자 인식에 적용된 최초의 "현대적인" 역전파 학습 2차원 CNN.
[5] J. Schmidhuber (AI 블로그, 2025). 합성곱 신경망을 누가 발명했는가? x.com/SchmidhuberAI/status/195...…
