지금은 알고리즘의 막강한 권력을 깨부술 차례다!

아무것도 예측할 수 없는 인공지능 독점 시대에 알고리즘의 권력은 점점 거대해져 경제, 의료, 보안, 예술 분야까지 파고들어 부와 권력을 지배하고 있다. 비즈니스, 정부, 경찰, 마케팅과 연관해 수학 모델을 이용해 연구해온 저자 해나 프라이는 인간이 지나치게 많은 것을 객관화하고 자동화하려는 욕망 때문에 오히려 개인정보 노출과 같은 문제를 얻었다고 지적한다. 저자는 인공지능으로 인해 인간성이 어떻게 변했는지 그 핵심을 파악하고 다양한 분야의 리포트를 종합해 개인정보, 편향, 오류, 책임 소재 등의 문제에 대한 경각심과 함께 보다 현명하게 기술을 활용하는 법을 제시한다.
경계가 사라진 현시대에는 그에 걸맞은 냉철한 질문을 던지는 지혜가 필요하다. 이 책은 과학 기술을 어떻게 받아들일지에 대한 통찰과 함께 우리 자신을 지키는 것을 넘어 더 나은 미래를 만들기 위한 새로운 아이디어를 선사할 것이다.


‘공짜 옵션’에 장님인 사람들 덕분에,
이 시대 최고의 황금이 된 ‘개인 데이터’

이 책에서 저자는 알고리즘으로 인해 개인 데이터의 유출이 얼마나 심각한 문제인지 역설한다. 우리가 SNS에 올린 글과 ‘좋아요’를 누른 게시물, 은밀한 검색 기록뿐만 아니라 정치 성향, 복용하는 약, 임신 중절 여부까지도 무심코 ‘동의’하는 순간 모두 데이터 브로커에 팔린다. 데이터 브로커는 이 데이터를 이용해 우리의 호불호에 따라 최대한 관심사와 맞는 광고를 띄운다. 여기까지는 그럭저럭 괜찮다고 생각하는가? 그러나 이러한 데이터는 인간을 조종하는 데까지 널리 쓰인다. 대선 동안 조작된 가짜 뉴스를 퍼뜨려 유권자를 조종하고, 중국 정부는 각종 은밀하고도 사적인 데이터들을 점수로 집약한 즈마신용점수를 통해 개인의 신용도를 평가한다. 저자는 데이터가 이 시대의 새로운 황금이라면, 우리는 현재 거친 미국 서부 개척 시대를 사는 셈이라며 무료 알고리즘에 의문을 품을 것을 경고한다.

개인의 이익과 공공의 이익이 충돌할 때\t
어떤 선택을 할 것인가

알고리즘이 적용되는 대부분의 산업에서는 개인의 이익과 공공의 이익이 충돌하는 팽팽한 갈등 상황이 자주 발생한다. 결론 내리기 쉽지 않은 이 논쟁이야말로 알고리즘이 믿을 만한지 파악하는 데 그치지 않고 인간의 한계와 가치를 결정할 것이다.
저자는 의료 파트에서 개인정보 보호와 공익 사이의 갈등을 다룬다. 개인뿐만 아니라 인류 전체의 건강 증진을 위해서는 수많은 사람의 데이터가 필요하다. 예컨대 암을 치료하는 데 쓰이는 의료 기계를 만들 때 개인과 인류 중 누구를 위해 작동해야 할지 ‘선택’해야 하는 상황이 오게 마련이다.
“인류 전체의 이익을 위해 작동하는 기계는 누가 장기이식을 받아야 할지 결정할 때 핵심 목표에 맞추어 ‘되도록 많은 생명을 살리는’ 데 우선순위를 둘 것이다. 당연히 치료법도 오로지 환자 개개인의 이익만을 염두에 두는 기계와는 다르게 제시할 것이다. NHS나 보험사의 목적에 맞추어 작동하는 기계는 되도록 비용을 적게 들이려고 할 테고, 제약회사에 도움이 되도록 설계한 기계는 특정 약품을 다른 약품보다 많이 쓰도록 촉진하는 데 초점을 맞출 것이다.” 따라서 당신의 선택이 누군가의 이익을 가져올 것인지 경계해야 한다고 힘주어 이야기한다.
이어서 자율주행 차량을 설계할 때 충돌 시 어느 쪽의 목숨을 우선해야 하는지 선택하기 어려운 딜레마도 다룬다. 저자는 충돌을 피할 수 없는 상황에서 콘크리트 벽을 들이받아 보행자들을 살릴 것인지, 계속 달려 탑승자만은 살릴 것인지와 같은 선택을 피할 수 없는 상황을 가정하며 자율주행에 책임 소재와 윤리적 문제가 자리한다고 지적한다. 이는 “무인자동차에서 무엇이 중요한지 인식하게 하고, 나와 남의 목숨이 지닌 가치를 저울질하는 알고리즘을 우리가 어떻게 느끼는지 시험”하는 중요한 질문이기도 하다.
이처럼 서로의 목표와 동기가 충돌할 때 알고리즘의 위험은 은폐되고 이익은 부풀려진다. 신기술의 중심에는 힘과 기대치, 통제, 책임의 위임과 관련한 난제들이 자리하기 때문이다. 저자는 개인정보가 악용될 위험과 책임 문제 등을 무릅쓰고 알고리즘을 신뢰할 수 있을지 현실을 짚으며 최선의 해법을 제안한다.

기존의 가치를 뒤집는 탁월한 통찰력을 위해

이 책은 알고리즘이 나쁘다고 주장하는 것이 아니다. 다만 알고리즘으로 얻는 이익이 해로움보다 큰지 질문을 던져야 한다고 말한다. 그리하여 “자신의 판단보다 기계를 더 신뢰해야 할 때가 언제인지, 기계에 통제권을 맡기고 싶은 유혹을 떨쳐야 할 때가 언제인지를 알아본다.” 또한 우리가 얻을 이익과 해악을 구분하여 어떤 미래를 만들지 전망과 과제를 냉철하게 파헤친다.
기계와 인간의 완벽한 공생을 통한 미래의 가능성을 제시하는 이 책은 각종 위기와 쏟아지는 정보에 휘둘리지 않고 헤쳐나갈 수 있도록 중요한 이정표가 되어줄 것이다.

“갈피를 잡기 어려운 이 신세계를 안내할 길잡이로 해나 프라이보다 더 뛰어난 사람은 없다. 브라보!”_팀 하포드, 《경제학 콘서트》 저자

“흥미진진해서 술술 읽히는 책. 알고리즘의 현실에 대해 분노와 짜증과 도전 의식을 느낄 것이다!”_캐시 오닐, 《대량살상 수학무기》 저자

“해나 프라이는 인공지능의 시대를 어떻게 살아갈 것인가를 멋지게 탐색한다. 이 책은 앞으로 몇 년 동안 술집에서 또 저녁 식사 자리에서 논쟁을 일으킬 것이다.”_애덤 러더퍼드, 《사피엔스 DNA 역사》 저자

“아무 생각 없이 알고리즘에게 자신의 운명을 맡기는 사람이라면 이제 적절한 조치를 취해야 한다는 해나 프라이의 훌륭하고도 유쾌한 이야기를 꼭 읽어봐야 한다.”_데이비드 로언, <와이어드> 영국판 편집장

“데이터와 알고리즘에 관한 최고의 책들 중 하나!” _<타임>

이 책은 인간이 어떤 존재인지, 어디로 가고 있는지, 우리에게 중요한 것이 무엇인지, 그리고 이런 개념이 기술 때문에 어떻게 바뀌고 있는지를 다룬다. 이미 이 세상에 등장해서 우리 옆에서 인간의 역량을 키우고 실수를 바로잡으며 문제를 해결하지만, 그 과정에서 새로운 문제를 일으키는 알고리즘과 어떤 관계를 맺을지 살펴본다.
또한 이 책은 우리 사회가 알고리즘으로 얻는 이익이 해로움보다 큰가 하는 물음을 다룬다. 자신의 판단보다 기계를 더 신뢰해야 할 때가 언제인지, 기계에 통제권을 맡기고 싶은 유혹을 떨쳐야 할 때가 언제인지를 알아본다.
- 프롤로그 16쪽


우리는 상황을 모 아니면 도로 보는 탓에 알고리즘을 전지전능한 통치자로 보거나, 쓸모없는 쓰레기 더미로 보는 성향이 있다. 그런데 이 성향이 첨단 기술 시대를 맞아 상당한 문제를 일으킨다. 첨단기술을 최대한 활용하고 싶다면, 우리는 알고리즘을 조금 더 객관적으로 볼 길을 찾아내야 한다. 카스파로프의 실수를 교훈 삼아 인간의 결점을 인정하고, 우리가 본능적으로 보이는 반응에 의문을 던지며, 우리를 둘러싼 알고리즘에 어떤 감정을 갖는지 더욱 주의 깊게 인식해야 한다. 다른 한편으로는 알고리즘을 무턱대고 떠받들지 말고 꼼꼼히 살핌으로써 알고리즘이 내세우는 능력이 정말로 존재하는지 따져보아야 한다. 그래야만 알고리즘이 우리가 넘긴 힘을 손에 쥘 자격이 있는지 판단할 수 있다.
- 1장 ‘인간과 기계의 힘겨루기’ 48쪽


이들은 당신의 이 모든 데이터를 결합한 뒤에 자사가 구매해 확보한 여러 정보와 서로 대조해서 당신을 상세히 알려주는 파일로 만든다. 즉 당신이 디지털 세계에 남긴 그림자를 분석해서 당신의 데이터 소개서를 만든다. 이런 브로커가 만든 데이터베이스 가운데 어떤 것은 거짓말 하나 보태지 않고 정말로 당신의 ID(물론 당신이 이 ID를 알 리는 없다)를 입력해 디지털 파일을 열면, 당신이 지금껏 디지털에 남긴 흔적을 고스란히 보여준다. 이름과 생년월일부터, 종교 성향, 정치 성향, 휴가 습관, 신용카드 명세서, 순자산, 몸무게, 키, 장애, 복용하는 약, 도박 습관, 임신 중절 여부, 부모님의 이혼 여부, 중독 취약성, 사기 취약성, 강간 피해 여부, 총기 제어에 대한 의견, 겉으로 보이는 성적 취향과 실제 성적 취향까지 모두. 달리 말해 어딘가에 숨은 서버 속에 수만 가지 파일과 범주가 저장되어 있고, 그 안에 사실상 한 사람 한 사람의 수만 가지 상세 정보가 들어 있다.
- 2장 ‘전지전능한 데이터’ 61쪽

알고리즘이 인종을 대놓고 평가인자로 명시하지는 않았지만, <프로퍼블리카>는 계산 알고리즘이 모든 사람을 똑같이 다루지는 않는다는 사실을 알아냈다. 전체 결과를 볼 때 알고리즘이 오류를 일으킬 확률은 흑인이든 백인이든 크게 다르지 않았지만, 인종에 따라 오류의 종류가 달랐다.
당신이 처음 체포된 뒤 다시는 말썽을 일으키지 않은 피고 즉 루크 스카이워커라 하자. 이때 알고리즘이 당신을 고위험군으로 잘못 분류할 확률이 백인보다 흑인일 때 두 배였다. 달리 말해, 알고리즘의 긍정 오류가 흑인에 치우쳐 있었다.
- 3장 ‘알고리즘이 인간을 재판한다면’ 108쪽


앞으로 몇 년 뒤, 당신이 자율주행 자동차를 타고 도심 거리를 신나게 달리고 있다고 해보자. 교통 신호가 빨간 불로 바뀌었는데 자동차에 이상이 생겨 차를 멈출 수가 없다. 충돌을 피할 수 없는 이 상황에서 차는 선택을 해야 한다. 도로에서 벗어나 콘크리트 벽을 들이받아 탑승자를 죽음에 이르게 할 것인가? 아니면 계속 달려 탑승자는 살리되, 횡단보도를 건너는 보행자를 칠 것인가? 우리는 이때 자율주행 알고리즘이 어떻게 작동하도록 설계해야 할까? 누가 죽을지를 어떻게 결정할까?
당신도 분명 나름대로 의견이 있을 것이다. 아주 단순하게 되도록 많은 목숨이 걸린 쪽을 구해야 한다고 생각할지도 모른다. 아니면 ‘살인하지 말라’라는 성경 구절이 어떤 계산보다 우선하므로 차량 탑승자가 결과를 받아들이도록 내버려둬야 한다고 생각할지도 모른다.
- 5장 ‘자율주행 자동차는 완벽한가’ 192쪽

내가 보기에 알고리즘을 시급히 규제해야 한다는 목소리가 범죄 수사 분야보다 크고 분명한 곳은 없다. 범죄 수사 분야에서는 이런 시스템의 존재 자체가 심각한 물음을 제기하는 데다가 답을 얻기도 쉽지 않기 때문이다. 어쨌든 우리는 이런 난감한 딜레마에 직면해야 한다. 알고리즘을 기업과 분리한다면 효과가 떨어져서 범죄율이 올라갈 것을 알면서도, 이해하거나 안을 들여다볼 수 있는 알고리즘만 받아들이기를 고집해야 할까? 편향성이 내재하거나 오류를 저지를 가능성이 입증된 수학적 시스템은 모두 무시해야 할까? 그렇게 하면 인간의 판단 체계에 맡기는 것보다 높은 기준을 알고리즘에 적용하는 줄을 알면서도? 게다가 얼마나 편향되어야 편향이 지나친 수준이 되는 것일까? 알고리즘 때문에 생기는 희생자보다 막을 수 있는 범죄 때문에 생기는 희생자를 우선시하는 지점은 어디일까?
- 6장 ‘알고리즘 경찰관’ 261쪽


무엇보다도 알고리즘의 힘에 의문을 제기하기를 주저한 탓에 우리를 이용하려 드는 사람들에게 기회를 열어주었다. 이 책을 쓸 자료를 조사하는 동안, 나는 알고리즘이라는 신화에 속기 쉬운 인간의 습성을 악용해 이익을 얻으려 드는 온갖 엉터리 사기꾼과 마주쳤다. 어떤 이들은 과학적 반증이 버젓이 존재하는데도, 경찰과 정부에 얼굴 특성만을 근거로 어떤 사람이 테러리스트인지 소아성애자인지 ‘예측’할 수 있다고 주장하며 알고리즘을 판다. 어떤 이는 자기네 알고리즘이 제안하는 대로 영화 대본을 바꾸면 흥행 수익이 오른다고 주장한다. 또 어떤 이는 눈 한 번 깜빡이지도 않고, 자기네 알고리즘이 평생 하나뿐인 진정한 사랑을 찾아줄 수 있다고 주장한다.
하지만 그들의 주장에 부합하는 알고리즘일지라도 걸핏하면 권위를 악용하기 일쑤다. 이 책에는 알고리즘이 끼칠 만한 해악을 다룬 이야기가 가득하다.
- 에필로그 297쪽

들어가기에 앞서
프롤로그

1장 인간과 기계의 힘겨루기
알고리즘이란 무엇인가
알고리즘의 분류 방법
알고리즘은 얼마나 믿을 수 있나
인간 본연의 어리석음을 만나다
알고리즘의 판단을 거부해야 할 때
팽팽한 힘겨루기

2장 전지전능한 데이터
티끌 모아 태산
목표 고객을 찾아라
데이터의 서부 개척 시대
인간을 조종하라?케임브리지 애널리티카
미세한 인간 조종의 힘
‘나를 평가하세요’

3장 알고리즘이 인간을 재판한다면
행운의 벌금형
사법 방정식
집단지성의 알고리즘
판사 대 기계의 판단
다스베이더를 찾아라
알고리즘의 ‘편견’
인간의 판단을 흐리는 요인들
믹스 앤드 매치

4장 알고리즘은 내 몸을 알고 있다
데이터와 패턴
딥러닝 알고리즘의 탄생
인간과 AI의 ‘동맹’
작은 데이터의 위력
질병 예측의 힘
디지털 의료 진단
‘왓슨’의 가능성과 과제
데이터 확보의 어려움
개인정보 보호 문제
유전자와 개인정보 유출
나의 이익과 공공의 이익 사이에서

5장 자율주행 자동차는 완벽한가
자율주행의 난제들
‘베이즈 정리’를 숭배하라
누구를 살릴 것인가
환상 속의 완벽한 자율주행
에어프랑스 참사
자동화의 역설
오류를 피할 길은 없다

6장 알고리즘 경찰관
스프링클러를 닮은 알고리즘
범죄 예측 지도
지진과 범죄의 연관성
범죄 정보원 프레드폴
범죄 예측 알고리즘의 장단점
범죄자와 닮은 얼굴
얼굴 인식을 둘러싼 쟁점
도플갱어를 찾아라
얼굴 인식 알고리즘의 두 얼굴
난감한 딜레마

7장 기계도 예술가가 될 수 있을까
‘평행우주’ 실험
흥행작을 맞혀라
작곡은 식은 죽 먹기
아름답지만 깊이는 없는 작품

에필로그
주
찾아보기