어쩌다 인공지능

영국에서 가장 높은 액면가 지폐는 얼마짜리일까요 ?

정답은 바로~
▼
▼
▼

50파운드 지폐입니다. 영국 은행 £50 지폐(England £50 note, 우리나라 돈으로는 대략 7만5천원 수준)는 영국 공식화폐(Pound sterling, symbol: £; ISO code: GBP)로 사용되는 지폐입니다. 영국 은행이 공개적으로 유통하기 위해 발행 한 지폐 중 가장 높은 액면가입니다. 올해인 2021년 이후 유통되는 폴리머로 인쇄 될 50 파운드 지폐에는 앞면에는 엘리자베스 2세 여왕의 이미지가, 뒷면에는 컴퓨터 과학자와 제 2차 세계 대전 코드 브레이커(암호 해독가)인 앨런 튜링의 이미지가 표시됩니다. 바로 이렇게.

인공지능의 시작을 이야기 하면, 뛰어난 업적의 아주 존경스러운 인물인 앨런 튜링을 언급하지 않을 수 없습니다. 인공지능에 관련된 글을 보면 빠지지 않는 인물 중의 한 사람입니다. 그의 성명 전부(Full Name)는 앨런 매시슨(혹은 매티슨) 튜링(Alan Mathison Turing:1912년 ~ 1954년)입니다. 가장 높은 액면가 지폐에 새겨질 정도로, 영국인들의 엄청난 자부심을 나타내는 천재입니다. 튜링(Turing)은 인공지능의 개념을 최초로 제시한 사람으로도 알려져 있습니다. 그는 이론적인 “컴퓨터 과학과 인공 지능의 아버지”로 널리 알려져 있습니다.

튜링은 영국의 케임브리지 대학교에서 수학을 전공하고, 미국의 프린스턴 대학교에서는 수리논리학을 연구했습니다. 미국 프린스턴대학에 유학할 때는 "폰 노이만"이라는 또 다른 천재와 함께 수학하며 박사학위를 획득했습니다. 대표적인 그의 업적을 살펴보겠습니다.

• 에니그마 암호 해독 : 튜링 봄비(Turing Bombe,  암호 해독 기계)
• 튜링 머신(혹은 튜링 기계, Turing Machine, a-machine)  
• 튜링 테스트 (Turing test, originally called the imitation game)

#1. 에니그마 암호 해독 : : 튜링 봄비(Turing Bombe,  암호 해독 기계)
(※ 에니그마 : 독일어로 ‘수수께끼’라는 뜻을 가진 암호 기계의 한 종류. 독일에서 개발됨. 암호를 만들고 해독하는 기계로, 보안성에 따라 여러 모델이 있습니다.)

앨런 튜링을 제2차 세계대전 코드 브레이커(codebreaker: 암호 해독가)라고도 합니다. 제2차 세계대전이 발발하자 정부의 요청에 따라 나치 독일군의 에니그마 암호 해독을 맡았고, 대서양 전투를 포함한 많은 중요한 교전에서 연합군이 나치를 물리 칠 수 있도록 도청된 암호 메시지를 해독하는 데 아주 중요한 역할을 했습니다. 그렇게 함으로써 제2차 세계대전에서 연합군이 승리하는 데 기여했습니다. 정확히 추산하기는 어렵지만, 이 작업은 전쟁을 2년 이상 단축하고 1,400 만명 이상의 생명을 구한 것으로 추정됩니다. 

영화 <이미테이션 게임(2014년)>에서 그려졌듯이 제2차 세계대전이 한창일 때 앨런 튜링은 적군의 암호를 해독한 것으로 유명합니다. 그는 1939년에 독일군의 에니그마 암호를 해독하는 영국 정부 부서인 GC & CS에 참여해 독일 해군 암호를 해독을 담당하는 Hut 8의 책임자가 되어 기존의 봄브 해독기를 개량한 튜링 봄비(Turing Bombe, 봄브 혹은 봄베라고 부르기도 함)라는 장치를 개발했습니다. 이 장치는 기존의 폴란드 Bomba(혹은 bomba kryptologiczna :  "bomb" or "cryptologic bomb"에 대한 폴란드어)를 개선하여 새로운 사양으로 만든 것입니다. 이 튜링 봄비의 초기 디자인은 앨런 튜링이 만들었지만, 가장 진화된 형태는 1940년에 Goldon Welchman이 만들었습니다. 튜링 봄비는 독일군의 주요 메시지를 암호화 하던 애니그마의 설정(당일의 회전자의 설정, 회전자 초기 시작 값, 플러그 보드의 연결 등)을 찾아내기 위하여 설계되었습니다. 이 튜링 봄비는 후일 개발되는 콜로서스라는 프로그래밍 가능 전자 컴퓨터의 기술적 토대가 되기도 했습니다. 이 컴퓨터 장치는 군사 기밀로 취급되어 꽤 오랫 동안 일반에 알려지지 않았습니다.

※ GC & CS : Government Code and Cypher School.  영국의 블레칠리 파크(블레 츨리 혹은 브레츨리 파크로도 표현, Bletchley Park : 통상 영국의 암호해독의 중심지로 인식됨)지역에 있었던 영국 정보기관. 1946년 6월 "정부 커뮤니케이션 본부"로 이름이 변경됨

※ Hut 8은 영국의 브레츨리 파크의 GC & CS 섹션으로 독일 해군 수수께끼 메시지를 해결하는 임무를 맡았습니다.

튜링 봄비에 의한 암호해독을 쉽게 설명하면, 아래 그림에서처럼, 암호문 "WSNPNLKLSTCS"를 풀어서 "ATTACKATDAWN"을 찾아야합니다.  논리적 추론을 자동화하기 위해 봄비는 전기 회로의 형태를 취했습니다.

#2. 튜링 머신(혹은 튜링 기계, Turing Machine, a-machine)

한마디로 튜링 머신은 튜링이 알고리즘을 설명하기 위해 도입한 가상의 기계입니다.1936년 5월 31일에 23살의 젊은 나이에 앨런 튜링은계산하는 기계를 대표할 수 있는 가상의 장치를생각해내고,이 장치에 영어 단어인automatic의a를 따서"a-machine"이라는 이름을 붙였습니다. 일종의 오토마타(automata or automatons, 자동장치)인 셈이죠.그가 고안한 튜링 머신은 현재시점에 바로보면 초보적 형태의 컴퓨터로, 복잡한 계산과 논리 문제를 처리할 수 있었습니다. 지금의 컴퓨터와 비교하면, 튜링 머신의 무한히 긴 띠는 컴퓨터의 메모리에, 기호를 읽는 기계는 컴퓨터의 중앙 처리 장치(CPU)에 비유할 수 있습니다. "a-machine"이라는 이 기계가 바로 나중에 창시자인 앨런 튜링의 이름을 따서 튜링 머신라 불리게 되었습니다. 

튜링은 이를 표현한 논문을 런던 수학회지에 1936년 5월 31일에 제출합니다. 정작 이 논문이 출판된 것은 1937년입니다. 이것이 바로 유명한 논문인 "계산 가능수와 결정문제에 대한 응용에 관하여(On computable numbers, with an application to the Entscheidungsproblem)" 입니다. 이 논문에 대한 혹자는 인류의 운명을 바꾼 논문이라고까지 합니다.

애석하게도 앨런 튜링은 개념만을 제시했습니다.(실제로 구현된 모델이 있었던 것은 아닙니다.) 튜링 머신을 당시 '보편만능기계(Universal Computing Machine)'라고 불렀는데 튜링은 이 이기계로 모든 기계적인 계산을 해낼 수 있었다고 생각했습니다. "실세계의 사물과 사상을 어떻게 기호화할 것인가”에 대한 물음과 이렇게 표현된 “기호들과 규칙을 활용해 어떻게 지능적 추론을 할 수 있을 것인가”에 대한 이러한 이론 모델 연구는 그후 컴퓨터와 인공지능 기술의 기초가 됩니다.

튜링 머신은 수학적 모형의 일종으로, 특수한 테이프를 기반으로 작동하는 기계입니다.  앞에서도 설명드렸듯이 튜링은 개념만을 제시했고, 현재 인터넷에 나와있는 다양한 구현 이미지는 튜링의 개념을 후대에 와서 구현한 내용들입니다. 튜링머신은 0과 1의 테이프와 머신으로 구성되어 실행결과를 뽑아내는 개념으로 이론적인 컴퓨터라고 할 수 있습니다.
현대의 『폰 노이만 구조(존 폰 노이만이 제시한 컴퓨터 구조로 프로그램 내장 방식 구조임)』로 된 컴퓨터는 모두 보편 튜링 머신 이론에 바탕을 두고 있습니다. 따라서 보편 튜링 머신은 현대의 모든 컴퓨터를 흉내낼 수 있습니다. 코드 메모리와 데이터 메모리가 분리되어있는 『하버드 구조(Harvard architecture, 프로그램 코드와 데이터에 대하여 각각 다른 버스를 사용하는 프로세서의 구조)』는 테이프를 두 개 달아놓은 튜링 머신이라고 생각할 수 있으니, 보편 튜링 머신은 하버드 구조의 컴퓨터도 완벽하게 흉내낼 수 있습니다. 컴퓨터의 작업을 이론적으로 모델링할 때 우리는 이미 튜링 머신을 활용하고 있습니다.

튜링 머신은 수학적 도구로 상상한 것으로, 테이프(Tape) = 메모리, 헤드(Head) = 제어장치, 상태기록기(State Register) = 상태 정보, 행동표(Action Table) = 명령 목록으로 구성되며, 그러면 계산 가능한 모든 것을 할 수 있다고 생각했습니다. 

#3. 튜링 테스트 (Turing Test)

이것은 한마디로 컴퓨터가 최소한 인간 정도의 지능을 가지고 있다고 판단하는 방법입니다. 인공지능을 개발하기 위해서는 사람의 지능지수처럼 기계의 지능을 평가할 수 있는 방법이 있어야합니다. 그 방법을 처음으로 제시한 사람이 영국의 앨런 튜링입니다. 그는 1950년에 Mind라는 학술지에 나온 『Computing Machinery and Intelligence(컴퓨팅 기계와 지능)』에서 첫 문장을 "기계는 생각할 수 있는가 ?"라는 질문으로 시작하면서 그 대답으로 모방 게임(imitation game)이라는 흥미로운 아이디어를 제안했습니다.

튜링은 "기계가 생각할 수 있는가는?"의 질문이 "기계"와 "생각"이라는 용어의 의미에 대한 정의로 시작해야한다고 했습니다. "생각"은 정의하기 어렵기 때문에 튜링은 문제와 밀접한 관련이 있고 비교적 모호하지 않은 단어로 표현되는 다른 단어로 질문을 대체하기로 선택했습니다. 튜링은 기계가 생각하고 있는지 판단하기보다는 기계가 " 모방 게임"이라는 게임에서 이길 수 있는지 물어봐야한다고 제안합니다. 튜링의 새로운 질문은 " 모방 게임에서 잘할 수있는 상상할 수있는 기계가 있습니까?"입니다.  튜링은 질문이 실제로 답할 수있는 질문이라고 믿었습니다. 튜링은 마음이나, 지능, 인간다움의 본질에 대한 논의는 그만두고, 이렇게 모방 게임을 통과하는 기계를 어떻게 만들 수 있을지로 논의 방향을 돌린것입니다.

이 논문에서 언급된 모방게임은 위의 그림에서 보듯이 아주 간단한 게임입니다. 논문 서두에서 튜링은 두 선수의 정확한 성별을 결정하기 위해 심문자가 다른 방에서 남녀에게 질문을 하는 "모방 게임"이라는 3인 게임이라는 관점에서 문제의 새로운 형태를 설명합니다.  A참가자는 남자이고, B참가자는 여자, C참가자는 신문자(interrogator)로써, 남자일수도 있고 여자일수도 있습니다. 모방 게임에서 C참가자는 A나 B를 볼 수 없고, 필기를 통해서만 의사 소통을 할 수 있습니다. A와 B에게 질문을 함으로써, C선수는 어떤 참가자가 남자이고 어떤 참가자가 여자인지 알아내려고 합니다. A의 역할은 질문자를 속여 잘못된 결정을 내리게 하는 것이고, B는 질문자가 올바른 결정을 내리도록 돕는 역할입니다. 

그리고는 튜링은 다음과 같은 질문을 합니다. (논문 이미지 하단에 기술된 내용입니다.)

"이 게임에서 기계가 A의 일부를 연기하면 어떻게 될까요? 질문자는 남자와 여자가 경기를 할 때처럼 종종 이런 식으로 경기를 할 때 잘못된 결정을 할까요? 이러한 질문들이 우리의 원래"기계가 생각할 수 있는가?"를 대체한다.

- We now ask the question,  What will happen when a machine takes the part of A in this game?" Will the interrogator decide wrongly as often when the game is played like this as he does when the game is played between a man and a woman? These questions replace our original, "Can machines think?""

이것은 기계가 사람이 사고할 때 행동하는 방법과 구별할 수 없게 행동한다면 그 기계가 사람처럼 생각하는 것으로 볼 수 있다는 아이디어입니다. 이 모방 게임은 기계가 생각한다고 말할 수 있는지 여부를 평가하는 일종의 시험입니다. 이것은 인간의 것과 동등하거나 구별할 수 없는 지능적인 행동을 보여주는 기계의 능력에 대한 테스트입니다. 

원래 튜링은 모방게임(imitation game)이라고 했고, 후에 사람들이 이를 튜링 테스트(Turing Test)라고 부르는 것입니다. 튜링이 튜링 테스트를 제시한 이후에, 이 튜링 테스트는 인공지능의 역사에 막대한 영향을 끼쳤고, 많은 비판을 또한 받아왔습니다. 어찌되었건 튜링 테스트는 인공지능이론에서 중요한 개념이 되었습니다. 현재에도 인공지능의 판별기준으로 이 튜링 테스트 개념을 확대하여 적용한 튜링 테스트를 많이 활용하고 있습니다.

해당 논문의 내용을 좀 살펴보면, 논문의 후반 부분에서 튜링은 "기계들이 생각할 수 있다"는 명제에 대해서 반대이론들을 제시했습니다. 기계의 사고에 대한 모든 주요 주장을 포함하는 9가지 일반적인 반대 의견을 고려했고, 이에 대한 자신의 의견을 기술했습니다. (1. 종교적 반대 / 2. '모래 속의 머리’이의 / 3. 수학적 반대 / 4. 의식으로부터의 주장 / 5. 다양한 장애의 주장 / 6. 레이디 러브 레이스의 이의 / 7. 신경계의 연속성에 대한 주장 / 8. 비공식적 행동에 대한 주장 / 9. 초감각 지각. 여기서는 자세히 다루지 않으므로, 그런 의견들에 대해 자신의 이견을 기술한 것이라고만 생각하시길 바랍니다.) 

논문의 마지막 섹션에서 Turing은 모방 게임을 성공적으로 수행 할 수 있는 학습 기계에 대한 그의 생각을 자세히 설명합니다.  튜링은 모방 게임을 할 수 있는 기계를 만들 수 있는 작업이 프로그래밍 중 하나라고 언급하며, 그는 세기 말에 게임을 실행하도록 기계를 프로그래밍 하는 것이 기술적으로 가능할 것이라고 가정했습니다. 1950년도에 이런 예측을 했다는 것은 대단히 놀라운 일입니다. (저는 이 당시에 이런 예측을 한 것에 대해 소름이 끼칩니다.)

현대에서 와서 이 튜링 테스트이 개념은 확대되어, 기계(즉, 컴퓨터)가 한 가지만 잘해서는 안된다고 보기도 합니다. 여러 가지를 평균적 인간만큼 잘해야 한다고 생각해서 컴퓨터가 스스로 언어를 듣고 판단해서 대답하는 것까지 포함하기도 합니다. 때론 카메라를 통해 사람이 인지하는 것까지도 포함합니다. 지금은 이런 확대된 튜링 테스트를 합격하는 것과 같은 방식으로 사람의 지능을 본 뜰 수 있는 소프트웨어를 개발하는 것이 인공지능의 궁극적인 목표가 되기도 합니다. 

그러나, 튜링 테스트에 대한 반론도 있습니다. 많은 전문가들은 이제 튜링 테스트가 인공 지능의 좋은 척도가 아니라고 생각합니다. 더 쉬운방법이나 새로운 방법을 인공지능 연구학자들이 제시하고있습니다. 그렇다해도 그가 남긴 이 위대한 업적은 사라지지 않을 것입니다.

참고로 튜링 테스트를 통과하는 인공지능에게는 상을 주는 것도 있는데, 바로 뢰브너 상(Loebner Prize: 뢰브너 상은 매년 개최되는 채터봇 대회의 상)이 수여됩니다. (참고로, 뢰브너 상은 휴 뢰브너 박사가 미국 매사추세츠에 있는 Cambridge Center for Behavioral Studies와 함께 1990년에 제정했습니다.) 그러나 인공 지능 분야에서 뢰브너 상은 다소 논란의 여지가 있습니다.

이 비운의 천재는 42세 생일 16일 전인 1954년에 시안화물 중독으로 사망했습니다. 그의 시신이 발견되었을 때, 사과는 그의 침대 옆에 반쯤 먹혀 있었고, 사과는 시안화물 검사를 받지 않았음에도 불구하고, 이것이 튜링이 치명적인 복용량을 섭취 한 수단이라고 추측되었습니다. 사인규명은 그가 자살을 한 것으로 결정했습니다. 한때 튜링이 베어 문 사과 모양에서 애플의 사과 로고가 만들어졌다는 속설도 있었습니다. 이에 대해서는 “사실은 이렇습니다.”에서 별도로 다루겠습니다. 

 Copyright 2021. 『오드리공주될뻔 블로거』  All rights reserved.

인터넷상 속칭으로 ‘인공지능 3대 천왕’과 ‘인공지능 4대 천왕’이 있습니다. 3대 천왕은 "AI의 대부"와 "딥 러닝의 대부"라고 불리고 있습니다.  이들은 각각 인공지능을 딥 러닝 기술을 처음 시작했거나 이후 크게 발전시키거나, 확대 시키는데 결정적인 역할을 했던 인물들입니다. 3대 천왕은 Geoffrey Hinton(Geoffrey Everest Hinton, 제프리 에버레스트 힌튼 혹은 힌턴), Yann LeCun(얀 르쿤 혹은 얀 레쿤), Yoshua Bengio(요슈아 벤지오)의 3명으로 2018 튜링 상을 수상했습니다.

"Hinton received the 2018 Turing Award, together with Yoshua Bengio and Yann LeCun, for their work on deep learning. They are sometimes referred to as the "Godfathers of AI" and "Godfathers of Deep Learning".
[출처: en.wikipedia.org/wiki/Geoffrey_Hinton]

여기에 Andrew Ng(앤드류 응)을 포함시켜 이들 4명을 4대 천왕으로 부르고 있습니다.

※ 튜링 상(Turing Award, 튜링 어워드)은 "컴퓨터 과학의 노벨상"이라고도 불리는 상입니다. 영국의 수학자이며 현대 전산학의 아버지라 할 수 있는 앨런 튜링의 이름을 따서 만든상으로, ACM에서 컴퓨터 과학 분야에 업적을 남긴 사람에게 매년 시상하는 상입니다.
※ ACM(Association for Computing Machinery, 계산기 학회 혹은 컴퓨터 학회)은 1947년에 설립된 세계 최초의 컴퓨터 분야의 학술과 교육을 목적으로 하는 각 분야 학회들의 연합체입니다.

워낙 유명한 분들이라 이분들의 업적을 알아두면 도움이 될 듯합니다. 이분들의 주요 업적을 간단히 살펴보면 다음과 같습니다.

#1 제프리 힌튼(Geoffrey Everest Hinton: 1947년 ~ )

첫 번째 인물인 제프리 힌튼은 꺼져가는 인공 신경망분야를 부활시킨 인물로 알려져 있습니다. 

• 영국 출신의 인지 심리학자이자 컴퓨터 과학자
• 구글과 토론토 대학교에 재직
• 역전파법(Backpropagation)과 딥 러닝 연구에 기여. 힌튼 다이어그램을 발명
• 딥 러닝 개념의 창시자

구글이 2013년 그가 창업한 DNNresearch Inc.를 인수하면서, 그는 AI부문 수장으로서 Google에 합류했습니다. 그는 특히 역전파 학습(Back Propagation) 기법과 CNN(Convolution Neural Network) 발전에 크게 기여했습니다. 제프리 힌튼에 관한 영어 위키백과를 읽다보면 다음과 같은 내용이 나옵니다.

"Hinton is the great-great-grandson both of logician George Boole whose work eventually became one of the foundations of modern computer science, and of surgeon and author James Hinton."

영어의 “great-great-grandson” 증손자(great-grandson)의 아들이니, 손자의 손자인 고손자가 되는군요. 결국 부울대수를 창시한 조지 부울(George Boole)과 외과의사이자 작가였던 제임스 힌튼(James Hinton)의 후손이라고는 말인데, 좀 더 정확히는 제가 영어 위키백과와 관련 사이트를 찾아 정리해놓은 아래 차트가 도움이 될 것 같습니다.

한마디로 그의 집안은 세계 모든 나라에서 사용하는 "국민 총생산(GNP, gross national product)"를 개척한 콜린 클락(Colin Grant Clark), 부울 대수와 기호논리학의 창시자 조지 부울(George Boole), 세계에서 제일 높인 산인 『에베레스트 산』의 이름이 유래된 조지 에베레스트(Sir George Everest)의 혈통을 가진 어마어마한 가문인 것 같습니다.
※ 참고로 제프리 힌트의 가운데 이름(middle name)에도 Everest가 들어가 있습니다. 

#2. 얀 르쿤(Yann LeCun, 불어 Yann André LeCun, “얀 레쿤”이라고 표기도 함 : 1960년 ~ )

두 번째 인물인, 얀 르쿤은 1987년부터 1988년까지 토론토 대학(University of Toronto)의 제프리 힌튼 연구실(Geoffrey Hinton Lab.)에서 박사후 연구원(postdoctoral research associate)으로 일했습니다.

• 프랑스 출신의 컴퓨터 과학자
• CNN(Convolutional Neural Network. 합성곱 신경망. 딥 러닝의 일종, 영상분야의 인공지능의 대표적 기술. 이미지 인식에 탁월)의 아버지
• 뉴욕대 수리학 연구소 교수(Silver Professor of the Courant Institute of Mathematical Sciences at New York University)
• 페이스 북의 AI 리서치를 이끌고 있음(Vice President, Chief AI Scientist at Facebook)

얀 르쿤은 2017년 사우디 아라비아의 대학에서의 강의 초대를 거절한 일화도 있습니다.  그는 자신의 무신론을 고려할 때 자신이 그 나라에서 테러리스트로 간주 될 것이라고 믿었기 때문입니다.

#3. 요슈아 벤지오(Yoshua Bengio : 1964년~)

세 번째 인물인, 요슈아 벤지오(Yoshua Bengio)는 프랑스 파리에서 태어난 캐나다 컴퓨터 과학자입니다. 뉴욕 타임지(The New York Times)에서 인공지능분야를 다루는 기술 특파원인 케이드 메츠(Cade Metz)는 제프리 힌트, 얀 르쿤과 함께 요슈아 벤지오는 1990년대와 2000년대에 딥 러닝의 발전에 가장 책임이 있는 세 사람 중 한 명으로 간주했습니다.

• 몬트리올 대학교(Université de Montréal)의 컴퓨터 과학 및 운영 연구과의 교수
• 몬트리올 학습 알고리즘 연구소(Montreal Institute for Learning Algorithms, MILA 혹은 Mila : Quebec AI Institute)의 과학 책임자
• MIT(Michael I. Jordan교수가 지도)와 AT&T Bell Labs의 박사후 연구원
  (AT&T Bell Labs : 현재 Nokia Bell Labs, 이전 명칭은 시대에 따라 Bell Labs Innovations, AT&T Bell Laboratories, Bell Telephone Laboratories으로 불렀다.)
• 논문 인용 최고(MILA에 따르면 h-index가 100 이상인 컴퓨터 과학자 중 Bengio는 일일 가장 최근에 인용되는 사람)

얀 르쿤과는 벨연구소에서 만나 인연이 시작되었습니다. 요슈아 벤지오가 박사과정을 지도한 제자 중에는 이안 굿 펠로우(Ian J. Goodfellow)라는 인물도 있습니다. 그는 이미지 합성기술에서 많이 사용되는 생성적 적대 신경망(GAN, Generative Adversarial Network. 비지도 학습에 사용되는 인공지능 알고리즘)의 발명자로 알려져 있습니다.

#4. 앤드류 응(Andrew Yan-Tak Ng, Chinese 『吳恩達』 : 1976년 ~ )

마지막으로 소개드릴 분을 앤드류 응입니다. 중국계 미국인 컴퓨터 과학자입니다.

• 온라인 교육 의 선구자. 개방형 온라인 교육 사이트 Coursera(American massive open online course (MOOC)를)와 deeplearning.ai 공동창업
• "딥 러닝 민주화"를 위한 많은 노력을 하여 이를 성공적으로 이끌었음
• 마이클 어윈 조던의 지도하에 UC 버클리에서 박사 학위

그는 2013년 타임지의 가장 영향력 있는 100인, 2014 년에는 Fast Company의 가장 창의적인 인물 중 한 명으로 선정되었습니다. 그는 인공지능으로 자연어 처리(Natural Language Process) 연구와 인공지능의 온라인 교육에 크게 기여한 인물입니다. Google Brain을 공동 설립하고 이끌었으며, 바이두(Baidu, Inc. 중국의 다국적 기술 회사로 세계에서 가장 큰 AI 및 인터넷 회사 중 하나)의 전 부사장 겸 수석 과학자로 일하면서 수천 명의 팀으로 이 회사의 인공 지능 그룹을 구성했습니다.

그의 박사학위 지도 교수인 마이클 어윈 조던(Michael Irwin Jordan)도 아주 유명한 분입니다. 마이클 어윈 조던은 미국 과학자이자 버클리 대학의 교수로, 그는 머신 러닝 분야의 주요 인물 중 한 명이며 2016년 Science는 그를 세계에서 가장 영향력있는 컴퓨터 과학자로 보고하였습니다.

마이클 조던 교수 밑에서는 4대 천왕 중에 1명이 박사학위 지도 학생이였고, 다른 한명은 박사후 과정을 받은 사람이니, 해당 연구실이 가히 최고의 인공지능 연구실이라고 할 수 있겠네요.

아직까지 튜링상을 수상한 한국인은 없는 것으로 압니다. 앞으로 우리나라에서도 튜링상을 수상할 인공지능분야의 선구자들이 많이 배출되길 기원합니다.

 Copyright 2021. 『오드리공주될뻔 블로거』  All rights reserved.

인간의 지능적인 특성 중에는 학습이 있습니다. 학습은 배워서 익히는 것입니다. 그럼 어떻게 배울까요? 우리는 경험을 통해 배웁니다. 그래서 우리는 여러 경험을 통해 학습을 얻어내고 그 학습은 다음 행동에 영향을 주도록 변화해왔습니다. 이렇게 우리가 학습하는 특성을 컴퓨터인 기계에 접목한 것이 머신 러닝이고, 딥 러닝입니다.
전통적인 프로그램 방식에서는 프로그래머인 사람이 일일 명시적으로 알고리즘을 설계하고, 코딩해서 컴퓨터가 주어진 입력에 대한 출력을 갖도록 해왔습니다. 그러나 인공지능 기법이 도입되면, 컴퓨터인 기계는 주어진 입력 데이터와 출력 데이터로(혹은 입력 데이터로만) 기계가 자동적으로 명시적인 프로그래밍 없이 학습하여 그 결과 규칙을 적용하게 됩니다. 아래 그림을 보면 쉽게 이해될 것 입니다.

약간 머신 러닝 개념이 너무 복잡한 것 같아서 간단한 요리로 설명하겠습니다. 요즘 뜨고 있는 백선생 조리법(recipe)처럼 『라면을 맛있게 끓이는 요리 기계』를 만든다고 생각해봅시다. 전통적인 방식으로는 요리 기계에 조리법에 대한 프로그램을 입력합니다. 그 프로그램에는 가장 맛있다고 결론 지어진 조리법의 최종 규칙을 입력되어있습니다.  

• IF (물의 양 = “550 ml” and 끓이는 총 시간 = “4분 30초” and 면 크기 =“부수지 말고 그대로 최대 크기” and 플레이크(후레이크 표기는 잘못. flake)와 분말 스프 투입시기 = “면보다 먼저” and 취향 = “대파 투입” and/or “달걀 투입(풀어서)”)
• Then (조리법 = “백선생의 맛있는 라면요리“). 

이제 이 규칙을 기계에 넣어주고, 우리는  “백선생의 맛있는 라면요리“를 끓여주라고 하면 기계는 상기 규칙대로 끓여서 나올 것 입니다. 이것은 구체적인 정답에 해당하는 규칙이 있어야만 결과적인 맛있는 라면요리가 완성되는 방식입니다.

그러나 상기 IF절에 있는 (물의 양, 끓이는 시간, 면 크기, 스프 투입시기, 취향)을 어떻게 해야 할지 모른다고 가정할 때, 우리는 가르쳐 주는 사람이 없다면, 내 스스로의 경험을 통해서 맛있는 조리법을 터득할 수밖에 없습니다. 끓이는 시간은 얼마로 해야 면이 꼬들꼬들 해질까, 물이 많으면 싱겁고, 물이 적으면 짜고, 면을 잘라서 넣을까 말까, 플레이크와 분말 스프는 언제 넣을까, 달걀은 반숙할 것인가, 풀어서 먹을 것인가, 대파를 넣을 것인가 말 것인가 등을 시행착오하면서 경험이 쌓게 됩니다. 그리고 다음번에는 그 경험을 바탕으로 개선을 해나갑니다. 계속해서 매일매일 끊이다 보면, 결국은 어떻게 하는 것이 가장 좋은 맛을 내는지에 대한 결론이 나오고, 이를 기계에 저장하여 나만의 조리법이 나오게 만들 수가 있습니다. 즉, 경험이 학습되어 그 결과를 『맛있는 라면요리 조리법』라는 규칙으로 저장해놓는 것입니다. 이렇게 학습을 통해 규칙을 생성해서 기계가 스스로 조리법을 갖게 하는 방식이 바로 머신러닝 / 딥 러닝에 의한 인공지능 방식인 것입니다. 이 방식으로 하면 개인별 취향이 다르다고 해도, 개인별 조리 데이터를 학습시켜 맞춤형으로도 제공할 수 있습니다. 좀더 확장이 유연해진겁니다.

이렇게 인공 지능 방식은 경험, 성능, 작업 목표를 기계 스스로가 데이터를 통해 발전해나가는 방식입니다.

Copyright 2021. 『오드리공주될뻔 블로거』  All rights reserved.

인공지능에 관한 용어들은 일반인들에게 생소한 경우가 많고 혼동하기 쉽기 때문에 기본적인 차이점을 이해하면 관련내용을 이해하는데 도움이 됩니다. 인공지능분야에서 가장 많이 쓰는 용어는 인공지능, 머신러닝, 인공신경망, 딥 러닝입니다. 이들의 관계는 한마디로 부분 집합과 합집합의 개념으로 쉽게 이해할 수 있습니다.

인공지능 ⊃ 머신 러닝(기계 학습) ⊃ 인공 신경망 ⊃ 딥 러닝(심층 학습)

최근에 많이 활용되는 딥 러닝 안에는 CNN, RNN 등의 여러 가지 형태의 알고리즘이 있습니다. 머신러닝은 기계 학습(機械學習)으로 표기하기도 하고, 영어로는 「machine learning약어로는 ML)」이라고 표기합니다. 딥 러닝은 심층 학습(深層學習)으로 표기하기도 하고, 영어로는 「deep structured learning」, 「deep learning」 또는 「hierarchical learning」이라고도 합니다. 인공신경망(人工神經網)은 영어로는 「artificial neural network(약어로는 ANN)」 이라고 합니다.이를 도식화하여 나타내면 아래 그림으로도 표현할 수 있습니다.

각각의 개념을 한마디로 요약해서 설명하면, 머신 러닝은 경험을 통해 자동으로 개선하는(혹은 학습하는) 컴퓨터 알고리즘의 연구 분야입니다. 기본적인 규칙만 주어진 상태에서 입력받은 정보를 활용해 스스로 학습하는 것입니다. 머신 러닝의 한 분야인 인공 신경망은 생물학의 신경망(특히 뇌)에서 영감을 얻어 입력과 출력 사이에 있는 인공 뉴런들을 여러 개 층층이 쌓고 연결한 학습 알고리즘입니다.

딥 러닝은 인공 신경망을 여러 계층으로 사용하여(그래서 Deep) 원시 입력에서 더 높은 수준의 특징을 점진적으로 추출하는 일종의 인공 신경망 학습 알고리즘입니다. 딥 러닝을 설명하다보면, 어디까지가 Deep이고, 어디까지가 Shallow이냐는 질문을 많이 받습니다. 여기에 대한 가장 근거 있는 정답은 아래의 「deep learning」에 관한 영어 위키백과를 참조해야합니다. (애석하게도, 2021년 1월 기준 ‘딥 러닝’의 한국어 위키백과에서는 해당내용이 아직 기술되어있지 않습니다.)
“The word "deep" in "deep learning" refers to the number of layers through which the data is transformed. More precisely, deep learning systems have a substantial credit assignment path (CAP) depth. The CAP is the chain of transformations from input to output. CAPs describe potentially causal connections between input and output. For a feedforward neural network, the depth of the CAPs is that of the network and is the number of hidden layers plus one (as the output layer is also parameterized). For recurrent neural networks, in which a signal may propagate through a layer more than once, the CAP depth is potentially unlimited. No universally agreed-upon threshold of depth divides shallow learning from deep learning, but most researchers agree that deep learning involves CAP depth higher than 2. CAP of depth 2 has been shown to be a universal approximator in the sense that it can emulate any function. Beyond that, more layers do not add to the function approximator ability of the network. Deep models (CAP > 2) are able to extract better features than shallow models and hence, extra layers help in learning the features effectively.” [출처 : deep learning 영어 위키백과]

상기 영문내용에 있듯이, deep을 정확히 이해하려면 CAP(credit assignment path, 입력에서 출력으로의 변환 체인. 머신 러닝의 일종인 강화학습에서의 credit assignment problem은 과거에 있었던 일들 중에서 현재 내가 받은 reward에 기여한 것을 할당하는 문제임)의 개념을 이해해야하고, 간단히 말하면, 인공신경망(Artificial Neural Network, ANN)을 구성할 때 입력 층(input layer)과 출력 층(output layer) 사이에 여러 개의 은닉 층(hidden layer)들로 이뤄진 형태로 구성하는 데, 여기서 출력 층을 포함한 은닉 층의 수가 CAP 값입니다. 즉, 노드간의 연결이 순환하지 않는 순방향 신경망(順方向神經網, feedforward neural network)과 같은 구조에서 통상의 CAP 값은 은닉 층+1의 값입니다. 따라서 딥(Deep)이란 통상 CAP > 2이상의 값, 즉 은닉 층이 2개 이상인 경우를 말하는 것입니다. 많은 분들이 Deep을 구분하는 은닉 층(Hidden Layer) 수가 1개 이하면 Shallow, 2개 이상이면 Deep라고 하는 것이 여기서 기인한 것이라 볼 수 있습니다.

이제는 사랑도 인공 신경망으로 자동판별될 수 있습니다.

Copyright 2021. 『오드리공주될뻔 블로거』  All rights reserved.