우리는 이전글에서 인공지능 역사에서 1950년 이전의 인간과 대결하는 인공지능에 대해서 살펴보았습니다. 아래 그림에서 체크된 영역은 해당 주제에 대해 본 블로그에 게시된 상세 글이 이미 있는 경우입니다. 이번 글에서 다루는 헵 이론(Hebbian theory)을 다루면 관련 내용을 전부 다루게 됩니다.
헵 이론(Hebbian theory)은 Hebb의 규칙(Hebb's rule), Hebb의 가정(Hebb's postulate) 및 세포 조립 이론(cell assembly theory)이라고도 합니다. 헵 이론은 캐나다의 심리학자인 도널드 올딩 헵(Donald Olding Hebb, 1904년 7월 22일 ~ 1985년 8월 20일)이 1949년 그의 저서 "The Organization of Behavior"에서 소개했습니다.
이 책은 도입 부분(Introduction)에서는 복잡한 두뇌 모델링에 대해 "연결주의(커넥셔니즘,connectionism)"이란 용어를 사용하여 연결주의 모델을 옹호했습니다. 연결주의(connectionism)는 인공 신경망을 사용하여 인지적 능력을 설명하려고 하는 심리철학의 이론입니다. 인지과학에서 설명하고자 하는 인간의 마음 현상(인간의 마음, 인간의 인지적 능력)은 튜링기계를 모델로 하는 계산주의(computationalism), 그리고 뇌의 뉴런을 모델로 하는 연결주의(connectionism)로 나눠집니다. 연결주의는 단순하고 병렬적인 계산요소들의 대규모 연결망을 핵심 개념으로 삼기 때문에 연결주의라 불립니다. 반면 계산주의는 기호의 직렬적 처리방식으로, 인간의 마음 및 뇌가 정보 처리 시스템이고 사고가 컴퓨팅의 한 형태라는 견해입니다.
도널드 올딩 헵은 뉴런의 작용이 어떻게 학습과 같은 과정에 기여했는지 알고자 했습니다. 이것은 인공지능의 모델의 발전측면에서 보면 가중치(weight)의 학습방법의 토대가 되었다는 측면이 있습니다. 그의 중심적인 아이디어는 두 개의 뉴런 A, B가 서로 반복적이고 지속적으로 점화(firing)하여 어느 한쪽 또는 양쪽 모두에 어떤 변화를 야기한다면 상호 간의 점화의 효율(인공신경망 관점으로 보면 가중치(weight)의 변화가 됨)은 점점 커지게 된다는 것입니다. 즉, 시냅스를 통한 신경 세포의 상호작용이 증가하면 시냅스가 더 견고하게 강화되며, 상호작용이 감소하면 시냅스는 약해져서 신경회로를 사용하지 않게 된다는 이론입니다.
그의 이론을 요약적으로 잘 설명해주는 문구는 "함께 발화(점화)하는 세포들은 함께 연결된다. (Cells that fire together wire together)."입니다. 즉 함께 활성화되는 세포가 함께 연결됩니다. 이것은 우리가 새로운 지식과 경험을 어떻게 뇌 속에 편입시킬 수 있는지를 설명하는 원리가 됩니다. 이 원리에 따르면 학습은 뉴런들 사이에 새로운 연결을 만드는 활동이며, 기억은 이러한 연결을 강화하고 유지하는 장치가 되는 것입니다.
헵은 하나의 처리 장치로 그룹화 될 수있는 뉴런의 조합으로 "세포 어셈블리(cell-assemblies)"라고 불렀습니다. 그리고 그들의 연결 조합은 자극에 대한 뇌의 반응을 지시하는 끊임없이 변화하는 알고리즘을 구성했습니다. 헵에 따르면 우리가 새로운 것을 배울 때, 뇌 기억 시스템은 기존의 신경망에 새로운 연결을 추가하면서 학습합니다. 새로운 정보가 기존의 기억과 만나면 서로의 연결이 강화되면서 기존의 기억을 자극하고, 이것이 새로운 정보와 연합되면서 신경망이 더욱 활성화 됩니다. 이때 활성화되지 않는 뉴런들은 연결이 약해집니다. 그리고 이런 과정의 반복을 통해 기억이 형성됩니다. 헵은 1949년 장기기억과 단기기억의 핵심 차이에 관한 가설을 제시했습니다. 장기기억에는 뉴런들이 연결되면서 물리적 변화가 발생하나, 단기기억은 그렇지 않을 것이라는 주장이었습니다.
헵의 이론은 완벽하지만은 않았고, 시간이 흐르며 내용이 계속해서 수정되었습니다. 헵 학습 규칙도 확장된 헵 학습 규칙으로 내용이 추가되었고, 반론도 있지만 지금도 여전히 타당한 주장이라고 받아들여지고 있습니다.
인공 뉴런과 인공 신경망의 관점에서 헵의 이론은 모델 뉴런 간의 가중치를 변경하는 방법을 결정하는 방법으로 설명 할 수 있습니다. 두 뉴런이 동시에 활성화되면 두 뉴런 사이의 가중치가 증가하고 개별적으로 활성화되면 감소합니다. 동시에 양수 또는 음수인 경향이 있는 노드는 강한 양의 가중치를 갖는 반면 반대되는 경향이 있는 노드는 강한 음의 가중치를 갖습니다. 헵의 이론에 근거한 이러한 헵의 학습 규칙은 가장 오래되고 단순한 형태의 학습규칙으로 나중에 개발된 다른 신경망 모델들의 학습 규칙의 토대가 됩니다.
헵의 이론에 의한 신경망의 가중치(weight) 학습규칙은 훗날 프랭크 로젠블랫(Frank Rosenblatt)이 1957년에 제안한 퍼셉트론(인공 신경망 구조 중 하나)과 1960년의 아달라인(ADALINE)을 거치면서 좀더 발전합니다. 이는 오늘날의 고도화된 신경망(딥러닝) 학습의 토대가 되는 것입니다.
Copyright 2021. 『오드리공주될뻔 블로거』 All rights reserved.
'인공지능(AI) > 인공지능의 역사' 카테고리의 다른 글
| 게임 이론 (0) | 2021.05.04 |
|---|---|
| #2. AI와 인간의 대결(7) : 체스도 체커도 아닌 또 다른 게임 (0) | 2021.02.27 |
| #2. AI와 인간의 대결(6) : 수학 원리의 증명 (0) | 2021.02.22 |
| #2. AI와 인간의 대결(5) : 또 하나의 최초 머신 러닝 프로그램 (0) | 2021.02.02 |
| #2. AI와 인간의 대결(4) : 체스와 체커 게임 (0) | 2021.01.29 |