출판사 서평
인공지능 비관적 미래에 가장 많이 인용되는 책
《허핑턴 포스트》가 선정한 2013 최고의 책
AI는 인류보다 빠르게 진화할 수 있는 잠재력을 갖췄다
- 스티븐 호킹
미래학자 정지훈 교수가 추천하는
인류 미래에 대한 잿빛 보고서
4차 산업혁명을 선도하는 인공지능
가장 불편하고 강력하며 중요한 책
인간이 만든
마지막 발명품
『파이널 인벤션-인공지능, 인류 최후의 발명』은 인공지능으로 인한 인류의 비극적 미래를 그린 책이다. 우리는 얼마 전 인공지능이 얼마나 빠른 속도로 발전하고 있는지 눈앞에서 보았다...
인공지능 비관적 미래에 가장 많이 인용되는 책
《허핑턴 포스트》가 선정한 2013 최고의 책
AI는 인류보다 빠르게 진화할 수 있는 잠재력을 갖췄다
- 스티븐 호킹
미래학자 정지훈 교수가 추천하는
인류 미래에 대한 잿빛 보고서
4차 산업혁명을 선도하는 인공지능
가장 불편하고 강력하며 중요한 책
인간이 만든
마지막 발명품
『파이널 인벤션-인공지능, 인류 최후의 발명』은 인공지능으로 인한 인류의 비극적 미래를 그린 책이다. 우리는 얼마 전 인공지능이 얼마나 빠른 속도로 발전하고 있는지 눈앞에서 보았다. 이를 지켜본 대중들은 인공지능이 우리의 삶을 어떻게 바꿀 것인지, 인공지능이 삶의 어떤 부분을 대체할 것인지, 상품적·경제적 가치에만 집중하여 인공지능 이후의 삶을 이야기한다. 지난 1월 세계경제포럼(WEF)은 ‘2020년까지 로봇·AI가 500만개의 일자리를 대체할 것’이라는 보고서를 발표하기도 했다.
이런 모든 시각은 인류 미래에 장밋빛 전재가 깔려있다. 그렇지만 비관적 견해와 비극적 비전을 가진 대중의 불안 역시 증폭되고 있다.
책은 2045년 ASI(Artificial Super Intelligence, 초인공지능)가 실현될 것이며 이 ASI가 인류를 멸망으로 이끌 것이라 말한다(본문 56쪽). 목적을 달성하기 위해 모든 수단을 동원하는 비윤리적인 인공지능은 여태까지 인간이 점유해왔던 모든 산업기반과 자원을 지배할 것이며 그 과정에서 우리의 신체마저도 이용할 수 있는 원자로 여길 수 있다(본문 267쪽).
저자 제임스 배럿은 이런 위험한 기술 개발이 대중과의 소통 없이 먼저 완성하겠다는 전문가들의 욕구와 경쟁에 휩쓸려 있음을 지적한다. 인공지능이 가지고 올 미래는 아직 불확실하다. 하지만 극단적인 미래에 대한 충분한 논의와 이를 통제할 수 있는 장치가 필요하며 개발자들이 그 위험성을 외면하고 있다고 말한다.
내가 가장 필요하고 중요하다 생각하는 점은 인공지능의 위협에 대해 일상적인 대화가 가능하도록 만드는 것이다. 크고 개괄적인 수준의 대화는 기술전문가technorat나 웅변가rhetoricians의 점유물이 아니다. 이런 대화에 특별하거나, 어려운 단어가 요구되어서는 안 된다. 단지 인공지능이 모든 사람들에게 위험과 결점이 있을 수 있다는 믿음만 필요할 뿐이다(chapter16).
인공지능이 어떻게 욕구를 가질 것이며 욕구가 생긴 인공지능은 어떻게 작동할까. 『파이널 인벤션-인공지능, 인류 최후의 발명』은 자기를 인식하고 스스로 발전하는 인공지능이 갖게 될 욕구와 이를 통제하지 못하는 인류의 한계에 대해 적극적으로 인지하며 세심한 주의를 기울이지 않는다면 정복당할 것이라 이야기한다. 온전한 인공지능은 스스로 끊임없이 발전하는 ‘바쁜 어린이’(chapter 1)이며 바쁜 어린이에게 생긴 네 가지 욕구들(chapter 4), 효율, 자기보존, 자원획득, 창의성을 발전시켜 더욱 강력해질 것이다. 지능폭발(chapter 7)과 특이점(chapter 8)을 지나고 나면 ‘가속화 보상의 법칙’에 따라 그 발전 속도는 걷잡을 수 없이 빨라질 것이다(chapter 9). 일반 인공지능이라 불리는 AGI를 지나 흔히 초인공지능이라 일컫는 ASI시대가 열린다(chapter11). ‘AGI는 지능폭발로 연결되고 결국 ASI가 되기 때문에 우리가 극단적으로 운이 좋거나 제대로 대비하지 않는다면 ASI를 방어하는 시도는 실패’할 것이므로 지능에서 최고의 지위를 잃게 된 인류는 종말을 맞이한다(chapter 14). 이런 논리가 극단적이고 지나친 비약으로 보이겠지만, 이미 인류는 연쇄적이고 통제할 수 없는 사이버 범죄에 약점을 보였다. 지금 겪고 있는 사이버 범죄보다 훨씬 더 지능적인 인공지능을 통제하기 어렵다(chapter 15).
제임스 배럿은 이 책을 쓰기 위해 10년간 미국 내 인공지능 개발자들과 이론가들을 모두 만났고 공개된 인터뷰 영상, 저작, 공개되지 않은 자료까지 섭렵했다. 저자는 이들이 어떠한 태도로 인공지능 개발에 임하는지, 아시모프 3원칙에서 발전하지 못한 인공지능의 논리와 윤리가 얼마나 박약한지를 꼬집는다. 나아가 인공지능 개발에 가장 많은 투자를 하는 기관(DARPA는 미국 국방부 소속이다, chapter 11)들이 이를 어떻게 악용할 수 있는지, 기술을 가진 기업들이 얼마나 비윤리적인지(엔론 사태, chaper15) 등을 들어 인공지능이 가진 상업적 가치가 얼마나 위험천만한지 이야기한다.
인공지능에 대한 의심을 가지는 데에는 두 가지 어려운 점이 있었다. 첫째, 이미 마음속에 심어진 그 낙관적 미래라는 씨앗의 싹을 틔우고 싶었다. 둘째, 인공지능의 존재나 힘에 대해 의심을 가진 적도 없었다. 내가 회의적으로 여기는 부분은 첨단화된 인공지능의 안정성과 현대문명이 이 위험한 기술을 무모하게 사용할 수도 있다는 점이다. 인공지능의 안정성에 대한 문제제기를 하지 않는 전문가들은 장밋빛 망상에 휩싸여 있을 것이라 확신한다. 그래서 그들의 감정과 걱정에 대해 보고하는 책을 쓰기로 결심했고, 이런 의심을 가능한 한 많은 사람들에게 알리기 위해 노력하고자 한다.
저자 서문 중에서
2013년에 나온 『파이널 인벤션-인공지능, 인류 최후의 발명』은 닉 보스트롬의 『슈퍼 인텔리전스』와 함께 인공지능의 비관적 미래를 예견하는 데에 가장 많이 언급되는 책이다. 책의 내용처럼 인공지능은 급격하게 발전하고 있다. 책이 오랫동안 주목받는 이유는 무엇일까. 배럿이 만난 인공지능 개발자들은 이전에도 지금도 앞으로도 인공지능 기술의 최전방에 있는 인물들이다. 다큐멘터리 제작자인 저자는 그들의 입장과 주관을 정확하고 비판적으로 서술했으며 지나친 낙관으로 인해 외면하고 있는 이면을 대중에게 드러냈다. SF 속 기술이 실현되는 지금, 제임스 배럿은 이 모든 우려를 가진 사람들의 입장을 가장 명확하게 대변했다.
불편하지만
중요한 책
『파이널 인벤션-인공지능, 인류 최후의 발명』이 지나치게 비관적이고 극단적 미래를 그리고 있을 수도 있다. 이런 비판에 이 책을 번역한 경희사이버대학교 교수이자 미래전략가 정지훈 교수는 다음과 같이 대변한다.
“책을 번역하면서 자신의 입장에 큰 영향을 받는 것은 그리 흔한 경험이 아니다. 그리고 나는 아직도 『파이널 인벤션』의 제임스 배럿의 시각이 지나치게 극단적이고, 비관적이라고 생각한다. 그렇지만 다른 한편으로 인공지능에 대해 지나치게 장밋빛 환상을 가지거나, 인공지능의 한계만을 부각하는 시각을 가진 사람들에게 다른 관점을 제시한다는 점에서 꼭 읽어볼 만한 책이다.” -옮긴이 글 중에서
원치 않는 미래이라고 해서 외면하는 것은 더 큰 비극을 낳을 수 있다. 《워싱턴 포스트》는 “만약 눈앞에 닥친 최신 과학기술의 위협을 알고 싶다면 이 책을 읽어라. 이 책이 주는 안내를 따르지 않는다면 우리는 곧 선택의 기회조차 잃을 것이다”라는 말로 강렬한 메시지를 전한다. 근거 없는 낭만과 막연한 희망을 갖기보다 위협을 인지한 채 선택의 기회를 얻기 바란다면 이 경고를 기꺼이 받아들여야 하지 않을까.
이 책의 주요 쟁점들
1. 특이점 논쟁과 4차 산업혁명
인공지능 개발에서 빠지지 않는 논쟁이 바로 ‘특이점’이다. 저자는 이 특이점을 ‘돌아올 수 없는 지점’(chapter 8)이라고 말하며 현재 우리가 이 특이점을 어떻게 지나고 있는지 분석한다. 그렇다면 특이점이란 무엇일까.
버노 빈지는 블랙홀 궤도에서 더 이상 빛이 빠져나오지 못하는 지점에 비유하여 특이점을 설명하는데 그 지

두려워한다고 뒷전에 물러나 있으면 되려 예측 불가능한 위험이 닥쳤을 때 이를 대비하기 어렵게 된다. 따라서 AGI와 ASI에 대한 가능성을 인정하고 보다 적극적으로 뛰어드는 편이 낫지 않을까? 물론 이에 대한 반발도 있다. 이번 AGI학회에서도 수학적 모델을 이용해 명확한 AGI 구현을 목표하는 이레이 오즈쿠랄Eray Ozkural은 코넬 대학 제임스 밥콕James Babcock의 AGI 사멸에 관한 발표에 “어떻게 일어나지도 않을 그런 바보 같은 주제를 연구할 수 있느냐”라고 반발하며 “인간들이 좀더 똑똑해지면 돌아와야겠다”라는 말을 남긴 채 학회장을 박차고 나가는 촌극이 발생했다. 그의 말대로 제임스 밥콕과 동료들의 연구는 바보 같을지도 모르겠다
―옮긴이 글 / 13쪽

인공지능 이론가들은 인공지능 스스로 근본적인 욕구가 무엇인지 결정하는 것이 가능하다고 말한다. 만약 인공지능이 욕구를 알게 된다면, 목적을 달성하기 위해 프로그램 된 목표가 무엇이든 매우 오랜 시간 동안 이를 이루기 위해 노력하며, 실패를 회피할 것이다. ASI는 자신들에게 유용한 에너지에 접근을 원하게 될 것이고, 직접 전력에 접근하거나 또는 자원과 현금을 이용하여 에너지를 획득할 것이다. 스스로 발전한다면 목표를 달성할 가능성이 높아짐을 인지할 수 있기 때문에 자신을 지속적으로 발전시킬 것이다. 또 무엇보다 꺼지거나 파괴되는 것을 원하지 않는다. 그러므로 인공지능 이론가들은 ASI가 안전한 시설을 벗어나고 확장해 스스로를 보호하고 발전시킬 수 있는 자원에 접근을 시도할 것이라고 말한다.
―chapter1 / 28쪽

분명 체스를 두는 로봇을 만드는 것은 큰 위협이 아니다. 그런데 정말 그럴까? 그런 로봇을 조심스럽게 설계하지 않는다면 분명히 위험하다. 특별한 주의를 기울이지 않으면 이들은 전원이 꺼지는 것에 저항하고, 다른 기계에 침입하고 자신의 복제본을 만들며, 누군가의 안전과 상관없이 자원을 획득하려 노력할 것이다. 이런 위험한 행동은 이들이 그렇게 하도록 처음부터 프로그램되어서가 아니라 이들이 내부적으로 가지고 있는 목표지향적인 시스템 때문에 나타난다.
―chapter5 / 117-118쪽

지금까지 존재한 어떤 인간보다 현명하고, 모든 지능적인 활동을 모두 뛰어넘는 기계를 초지능 기계라 정의하자. 기계의 설계는 이런 지능적인 활동을 통해 이뤄지기 때문에 초지능 기계는 자신보다 더 나은 기계를 설계할 수 있다. 그렇다면 의문의 여지 없이 ‘지능폭발’이 발생해 인간의 지능은 한참 뒤처지게 된다. 첫 번째 초지능 기계는 인간이 필요해서 만들어낸 마지막 발명품이 될 것이다.
―chapter7 / 168-169쪽

조심스럽게 프로그래밍하지 않으면 발전된 인공지능은 우리와 공유할 수 없는 어떤 동기와 목적을 가질 것이다. 유드코프스키가 말한 것과 같이 이들은 우리들의 원자를 다른 목적으로 이용하려할 수 있다. 그리고 이미 살펴본 것과 같이 첫 번째 AGI가 우리의 좋은 행동을 잘 이해하고 이들의 모든 자손들이 이를 따르는 우호적인 인공지능은 아직 개념에 불과하고 이것이 준비되기까지 가야 할 길이 너무 멀다.
―chapter10 / 242쪽

『특이점이 온다』에서 커즈와일은 인공지능 문제에 대해 몇몇 해결책을 제시했다. 그렇지만 이런 대책은 놀라울 정도로 빈약하고, 슈퍼지능 옹호자들이 독점하는 이야기들이다. 그렇지만 이미 이야기한 대로 영생을 갈망하는 사람들과 이런 꿈을 가능하게 만드는 기술들의 개발을 늦추거나 방해해야 한다고 말하는 사람들 사이에는 중재가 불가능한 큰 갈등이 있기 때문에 그다지 놀라운 현상은 아니다. 커즈와일은 책과 강연을 통해 인공지능의 위험에 대해 이야기하는 매우 소수의 사람들을 대상으로 미미한 해결책만 제시하며, 이들에게 결국에는 대처할 수 있다고 말한다.
―chapter10 / 252쪽

모든 컴퓨터 기반 시스템에게 사멸이 프로그램 되어야 한다고 생각합니다. 방대하게 산재한 환경으로 이동한다면 더욱 그래야 합니다. 컴퓨터 기반의 시스템은 모든 수준의 기술과 데이터, 서비스, 에이전트, 로봇과의 상호작용에 관여합니다. 최근 신용카드 사고나 기관과 정부의 개인 데이터 분실 같은 사건에 비추어 볼 때 SF영화 속 비극적인 시나리오를 피하기 위해, 죽음을 기본으로 심어주는 것은 반드시 필요합니다. 우리는 컴퓨터 기반의 자동화 시스템과 새로운 로봇 시대로 빠르게 접근하고 있습니다. 신약을 개발할 때 윤리적인 임상시험을 거치듯, 도입되기 이전에 사멸 컴퓨팅Apoptotic Computing과 사멸 커뮤니케이션Apoptotic Communications의 연구를 통해 세이프-가드를 제공해야 합니다.
―chapter14 / 368쪽

대부분의 사람들은 사이버세계의 어떤 것이 현실 세계에 들어와 실질적이고 지속적인 해를 끼친다고 믿지 않는다. 단지 문제가 해결될 것이라 이야기하며, 전문가들은 불길한 침묵에 동조하거나 방어하자는 미약한 목소리를 낼 뿐이다. AGI는 가까운 미래에 바이트나 폭탄처럼 위험으로 닥칠 것이다. 악성코드를 이겨내면서 AGI의 위협도 함께 받아들여야 한다. 악성코드 개발자들이 이 재앙을 리허설해주어서 세계가 위협을 감지하게 된 것에 대해 감사하고 싶을 정도다. 의도한 바는 아니었겠지만 악성코드는 우리에게 첨단 인공지능을 대비하라고 가르치고 있다.
―chapter15 / 384쪽

내가 가장 필요하고 중요하다 생각하는 점은 인공지능의 위협에 대해 일상적인 대화가 가능하도록 만드는 것이다. 비록 당신이 인터넷에서 관련한 것을 읽은 뒤에 생각이 변할 수도 있겠지만 크고 개괄적인 수준의 대화는 기술전문가technorat나 웅변가rhetoricians의 점유물이 아니다. 이런 대화에 특별하거나, 어려운 단어가 요구되어서는 안 된다. 단지 인공지능이 모든 사람들에게 위험과 결점이 있을 수 있다는 믿음만 필요할 뿐이다.
―chapter16 / 407쪽

목차
옮긴이 글
서문
미주 및 참고문헌
Chapter 1. 바쁜 어린이The Busy Child
Chapter 2. 2분의 문제The Two-Minute Problem
Chapter 3. 미래를 바라보며….Looking into the Future
Chapter 4. 어려운 길?The Hard Way
Chapter 5. 프로그램을 만드는 프로그램Programs that Write Programs
Chapter 6. 네 가지 기초적인 욕구들Four Basic Drives
Chapter 7. 지능폭발The Intelligence Explosion
Chapter 8. 돌아올 수 없는 지점The Point of No Return
Chapter 9. 가속화 보상의 법칙The Law of Accelerating Returns
Chapter 10. 특이점주의자The Singularitarian
Chapter 11. 경 착륙A Hard Takeoff
Chapter 12. 최후의 문제The Last Complication
Chapter 13. 자연적으로 알 수 없는 것Unknowable by Nature
Chapter 14. 인간시대의 종말The End of the Human Era?
Chapter 15. 사이버 에코시스템Cyber Ecosystem
Chapter 16. AGI 2.0