1958년 뉴욕타임즈 1면을 장식한 '스스로 배우는 기계' — 그러나 11년 만에 한 권의 책으로 사망 선고를 받았다. 그리고 30년의 침묵 끝에, 1986년 한 편의 논문이 부활시켰다.
1958년 7월 8일. 뉴욕타임즈가 미 해군 연구실의 한 발표를 큰 기사로 실었다 — "NEW NAVY DEVICE LEARNS BY DOING". 본문에서 발표자는 이렇게 말했다.
"미 해군이 공개한 이 전자장치는 머지않아 스스로 걷고, 말하고, 보고, 쓰고, 자기 존재를 인식하는 기계의 시작이 될 것이다."
— New York Times, 1958.07.08이 발표를 한 사람의 이름은 Frank Rosenblatt. 30세의 코넬 항공 연구소(Cornell Aeronautical Laboratory) 심리학자였다. 그가 만든 기계는 약 400개의 광 센서와 거대한 캐비닛 크기의 'Mark I Perceptron'. 이름 그대로 '퍼셉트론(Perceptron)' — 인공 신경망의 시작이었다.
"기계가 인간처럼 패턴을 인식할 수 있다"는 가설을 처음 하드웨어로 구현한 사람. 알파벳을 보여주면 그게 'A'인지 'B'인지 분류할 수 있는 단층 신경망을 만들었다. 미국 해군 연구소에서 연구비를 댔다.
퍼셉트론의 작동은 단순하다. 입력값에 가중치(weight)를 곱하고, 다 더한 뒤 임계값을 넘으면 1, 아니면 0. 정답이 틀리면 가중치를 조금 조정. 다시 시도. 또 조정. — 이게 끝이다. "기계가 데이터로부터 스스로 배운다"는 개념이 처음 작동한 순간이었다.
11년 뒤인 1969년. MIT의 두 거장 — Marvin Minsky와 Seymour Papert가 한 권의 책을 출간했다. 제목은 그냥 《Perceptrons》. 표지에는 두 개의 도형이 있고, 그 사이에 단순한 질문 하나. "이 두 도형이 같은가?"
두 사람은 책에서 수학적으로 증명했다 — 단층 퍼셉트론은 XOR 같은 비선형 문제를 절대 풀 수 없다고. 즉, "두 입력 중 정확히 하나만 참일 때 참" 같은 단순한 논리조차 학습할 수 없다는 한계.
해결책은 사실 명확했다. 여러 층(multi-layer)으로 쌓으면 된다. 그런데 문제는 — "층이 여러 개일 때 각 층의 가중치를 어떻게 동시에 학습시킬 것인가?" — 이 질문에 아무도 답하지 못했다.
1986년 10월. Nature 323호 533–536쪽. 단 6페이지의 논문이 실렸다. 제목은 "Learning representations by back-propagating errors". 저자는 세 명.
핵심 아이디어 한 줄 — "미분의 chain rule을 출력에서 입력 방향으로 거꾸로 적용해 모든 가중치의 기울기를 한 번에 계산한다." 이게 우리가 아는 역전파(backpropagation)다.
역전파의 의미는 명확하다. 이제 여러 층으로 쌓아도 학습이 된다. Minsky의 17년 묵은 비판 — XOR을 못 푼다는 한계 — 가 풀렸다. 다층 신경망 시대의 문이 열린 것이다.
"이 알고리즘은 너무 강력해서, 40년이 지난 지금도 모든 신경망이 똑같은 방식으로 학습한다."
— ChatGPT, GPT-4, Stable Diffusion, Claude — 모두 backprop으로 학습됨역전파가 발명됐다고 해서 곧바로 AI가 폭발한 건 아니다. 1990년대 내내 신경망은 다시 변두리였다. 이유는 두 가지.
그래서 신경망은 1990년대 후반 ~ 2010년 무렵까지 또 한 번 2차 AI 겨울을 보낸다. 학계 일부 — Hinton, Yann LeCun, Yoshua Bengio — 만이 그 불씨를 지켜냈다. 이들은 훗날 "딥러닝의 대부"로 불리며 2018년 튜링상을 공동 수상한다.
1958년에 한 번, 1990년대에 또 한 번. 그리고 매번 한 명의 인물 + 한 편의 논문이 부활시켰다. 1986년엔 Hinton의 역전파, 2012년엔 Krizhevsky의 AlexNet.
지금 우리가 쓰는 ChatGPT도, Stable Diffusion도, 자율주행도, 반도체 공장의 AI도 — 그 뿌리에는 1958년 Rosenblatt의 캐비닛 크기 기계가 있다. 그리고 그 학습 방식은 1986년 Hinton이 정리한 역전파 그대로다.
다음 편(EP02)에선 1989년 Yann LeCun이 손글씨 우편번호를 인식시키며 시작한 'CNN의 시대'로 들어간다. 그가 Bell Labs에서 만든 'LeNet'은 어떻게 30년 후 우리 폰의 카메라까지 이어졌을까.