Video của Fukushima (1986) cho thấy một CNN nhận dạng các chữ số viết tay [3], ba năm trước video của LeCun (1989).
Dòng thời gian của CNN được lấy từ [5]:
★ 1969: Kunihiko Fukushima đã công bố các đơn vị tuyến tính được hiệu chỉnh hoặc ReLU [1] hiện đang được sử dụng rộng rãi trong CNN.
★ 1979: Fukushima đã công bố kiến trúc CNN cơ bản với các lớp tích chập và các lớp lấy mẫu giảm [2]. Ông gọi nó là neocognitron. Nó được huấn luyện bằng các quy tắc học không giám sát. Chi phí tính toán đắt hơn 100 lần so với năm 1989 và đắt hơn một tỷ lần so với ngày nay.
★ 1986: Video của Fukushima về việc nhận biết các chữ số viết tay [3].
★ 1988: Wei Zhang et al đã huấn luyện CNN 2 chiều "hiện đại" đầu tiên bằng phương pháp lan truyền ngược và cũng áp dụng nó vào nhận dạng ký tự [4]. Chi phí tính toán cao hơn khoảng 10 triệu lần so với hiện nay.
★ 1989-: tác phẩm sau này của những người khác [5].
TÀI LIỆU THAM KHẢO (xem thêm tại [5])
[1] K. Fukushima (1969). Trích xuất đặc điểm hình ảnh bằng mạng đa lớp gồm các phần tử Threshold tương tự. Giao dịch IEEE về Khoa học Hệ thống và Điều khiển học. 5 (4): 322-333. Công trình này đã giới thiệu các đơn vị tuyến tính được hiệu chỉnh hoặc ReLU, hiện được sử dụng rộng rãi trong CNN và các mạng nơ-ron khác.
[2] K. Fukushima (1979). Mô hình mạng nơ-ron cho cơ chế nhận dạng mẫu không bị ảnh hưởng bởi sự dịch chuyển vị trí—Neocognitron. Trans. IECE, tập J62-A, số 10, trang 658-665, 1979. Kiến trúc mạng nơ-ron tích chập sâu đầu tiên, với các lớp tích chập xen kẽ và các lớp lấy mẫu xuống. Bằng tiếng Nhật. Phiên bản tiếng Anh: 1980.
[3] Phim do K. Fukushima, S. Miyake và T. Initial Token Offering (ITO) (Phòng thí nghiệm Nghiên cứu Khoa học và Kỹ thuật NHK) sản xuất năm 1986. YouTube: youtube.com/watch?v=oVYCjL54qo...…
[4] W. Zhang, J. Tanida, K. Itoh, Y. Ichioka. Mạng nơ-ron nhận dạng mẫu bất biến dịch chuyển và kiến trúc quang học của nó. Kỷ yếu Hội nghị thường niên của Hiệp hội Vật lý ứng dụng Nhật Bản, 1988. Mạng CNN 2 chiều được huấn luyện bằng thuật toán lan truyền ngược "hiện đại" đầu tiên, được áp dụng cho nhận dạng ký tự.
[5] J. Schmidhuber (Blog AI, 2025). Ai đã phát minh ra mạng nơ-ron tích chập? x.com/SchmidhuberAI/status/195...…
