이 책의 저자는 2016년 이세돌 9단, 2019년 커제 9단을 물리치며 세간에 이름을 알렸던 알파고의 아버지 (딥마인드 창업자) 이다. 그가 책을 쓴 이유는 특이점을 향해 폭주 중인 기술 발전을 적절히 통제하지 않으면, 인류가 전례 없는 위험에 처할 수 있음을 경고하기 위해서다. 이게 AI 발전을 주도하는 사람이 할 얘긴가 싶지만, 여기엔 그럴만한 이유가 있다. 첫 번째는 기술 발전이 없이는 늙어가는 세계를 현재 수준으로 유지하기도 어렵다는 것이고, 더 중요하게는 기술 전문가가 억제 논쟁에만 머물지 않고 책임감 있게 보안책을 마련해야 한다는 신념 때문이라고. 실제로 그는 기술 발전이 극단적 결과를 초래할 수 있음을 지난 10년 간 밝혀왔으나, ChatGPT를 필두로 이제는 영향력이 무시하지 못할 만큼 커져 이 문제를 공론화하기 위해 집필했다고 부연한다.
저자 이력
- 딥마인드 (2010년): 심오한 인간 지능 알고리듬 추출할 수 있다면, 난해한 문제 해결할 강력한 도구 얻게 될지 모른다는 가설로 데미스 허사비스, 세인 레그와 함께 창업
- 구글 (2019년) : 구글 부사장으로 자리 옮겨 AI 정책 역할2 위키피디아, 무스타파 술레이만
- 인플렉션 (2022년) : 인간 친화적, 친근한 범용 인공지능 목표로 챗봇 서비스 Pi 개발. 그러나 사업적 성공 거두지 못하고 24년 3월 MS에 인수되며 MS AI 총괄 3 위키피디아, 무스타파 술레이만
1. 주요 개념
그의 책을 읽기 위해서는 몇 가지 기본 개념에 대한 이해가 필요하다. 중요한 부분만 추려보면 다음과 같다.
- 인공 역량 지능 ACI Artificial Capable Intelligence : AI와 AGI의 과도기로 다양하고 복잡한 작업 수행 가능하나, 완전 일반화까지 갈 길이 먼 상태. 사람들이 AGI에만 관심 가져 영역 별로 고도화 중인 인공지능 기술 간과하지 않게 하기 위해 고안한 개념
- 범용 기술 : 인간이 하는 일을 비약적으로 상승 시켜주는 기술 (시간 지날수록 가속화)
- 기원전 1000년 ~ 1만년 간 : 석기, 불, 언어, 농업, 문자 등 7가지 범용 기술 등장
- 1700 ~ 1900년 : 증기 기관, 전기 등 6가지
- 지난 100년 : 인터넷, AI 등 7가지
- 물결 Wave : 새로운 범용 기술이 전 세계적으로 확산, 전파되는 것
- 다가오는 물결 : AI, 합성 생물학 중심 관련 기술의 새 클러스터. 인류에게 힘 실어주는 동시에 전례 없는 위험 초래 가능한 혁신적 응용 분야
- 억제 Containment : 기술 감시, 축소, 통제, 잠재적으로 중단 가능한 능력(일종의 비상 정지 버튼)을 확보하는 것
- 비관주의 회피 : (특히 엘리트층에서) 부정적인 의견 무시, 경시, 거부하는 경향. 낙관주의 편향의 변형으로, 기술업계의 미래 둘러싼 논쟁의 많은 부분에 영향 미침
2. 기술의 현재
저자는 세상에 지대한 영향을 미칠 핵심 기술로 ① AI(지능)와 ② 합성 생물학(생명)을 꼽는다. 이 기술들은 ③ 로봇 공학, ④ 양자 컴퓨팅, ⑤ 에너지 효율화와 맞물려 거대한 물결을 형성하고 있는데, 각각의 현황을 보면 저자의 우려에 공감할 수밖에 없게 된다.
- AI : 정보 자동화
- 두뇌 본뜬 신경망 사용한 딥 러닝, 고정된 목표인 두뇌 규모 (1,000억 개 뉴런, 100조 개 시냅스 연결) 넘어설 것
- AI모델 훈련량 2페타플롭스 > 100억 페타플롭스로 증가 (1페타플롭스 1초당 부동 소수점 연산 1000조 번 처리 가능. 10억 명 각각 계산기 100만 개 들고 복잡한 곱셈하다 동시에 등호 누르는 것)
- 대규모 AI 학습 규모, 칩 더 큰 배열로 계속 연결 (데이지 체인) 가능해 기하급수적 증가 가능
- 바이오 : 컴퓨터 설계 힘으로 생명 공학, 분자 생물학, 유전학 결합
- DNA와 단백질
- 수천 명 13년 간 수 십억 달러 투자해 30억 개 유전자 정보 해독
- DNA 가장 효율적 데이터 저장 메커니즘 (컴퓨팅 수백만 배 밀도, 이론상 세계 데이터 1kg DNA에 저장 가능
- 염기 서열 분석 비용 급감 (2003년 $10억 → 2022년 $1,000 미만으로 백만 배 하락)
- DNA 염기 서열만으로 단백질 적용 방식 알 수 없음. 매듭 구조로 접힌 모양, 단백질 기능 핵심
- 단백질 생명체 구성요소. 근육, 혈액, 호르몬, 모발, 건체중 75% 단백질로 구성. 단백질 이해, 생물학 마스터 단계로 발전 가능
- 단백질 접힘 알아내기 매우 어려워 신약, 플라스틱 분해 효소 개발 발전 걸림돌, 단백질 구조 예측하는 세계 대회 있을 정도였으나 AI + 생물학 통해 단백질 모양, 기능 파악 몇 초면 가능 (기존 몇 주, 몇 개월 소요)
- 합성 생물학 탄생
- DNA 스크립트 회사, 효소 훈련, 적응시켜 새로운 분자 DNA 프린터 상용화
- 효소 합성 기술 더 빠르고, 효율, 실패 위험 낮고, 폐기물 미발생, 비용 급감세
- $25,000 부터 구매 가능한 DNA & RNA 신시사이저 : 대학원생 수준의 생물학 지식만으로 DNA 합성 (제조) 할 수 있음. 자연에서 발견되는 것보다 전염성, 치명적인 병원체 차고에서 만들어 낼 수 있음
- DNA와 단백질
- 로봇 공학 : 물질 자동화
- 로봇, AI를 현실과 연결해주는 다리, 인터페이스
- 인간 모든 신체적 행동 복제 중으로, 비용 감소, 강력한 배터리, 단순화, 수리 쉬워지면 로봇 보편화 될 것
- AI 비트 세계 완전한 이해 → 물리적 (원자) 세계 직접 조작, 재구성해 한계 극복하며 순환 이룰 것
- 양자 지상주의
- 원자보다 작은 아원자 특성 이용, 양자 컴퓨터 만들어 냄 (기존 컴퓨터 처리 1만 년 걸릴 연산 몇 초만에 계산)
- 핵심 단위 큐비트, 53개 뿐 (기존 방식 저장 시 720억 GB 필요)
- 큐비트 추가 때마다 컴퓨터 성능 두 배로 증가
- 복잡한 국가 경제 운영 비용 최소화 등 이점 있으나, 각종 암호화 무력화 (Q-데이) 치명적 영향 (암호화폐, 은행, 정부, 통신 등)
- 분자 코드처럼 ‘프로그래밍’ 가능해져 이전에 불가능했던 화학 반응, 분자 상호 작용 모델링, 신약 화합물, 산업용 화학 물질, 재료 발견 속도 향상, 유연성, 조작성 획득
- 에너지 전환
- 에너지 중요성 지능, 생명에 필적함 (현대 문명 막대한 에너지 의존)
- 현대 문명 = (생명 + 지능) x 에너지
- 비싸고 환경 오염시키는 에너지, 기술 발전 제한 요소이나 오래 가지 않을 것
- 핵융합 중앙 집중형, 태양열 분산형 에너지 그리드 가능성 제시 (태양광 비용 2000년 W당 $4.88 → 2019년 $0.38)
- 에너지 중요성 지능, 생명에 필적함 (현대 문명 막대한 에너지 의존)
저자가 주지하는 다가오는 물결의 핵심은 ‘힘의 확산’이다. ① 이제까지의 물결이 ‘정보 제공 비용 감소’에 그쳤다면, 이미 AI를 활용한 콘텐츠 생산이 붐을 형성한 것처럼 ② ‘정보 실행 비용 감소’가 보편화 되고 있기 때문이다. 그는 바로 이 점이 오늘날의 물결이 이전 모든 물결과 질적으로 다른 이유임을 지적한다. 탈중앙화, 분산화, 빠른 확산으로 국지적으로 감독, 억제하기가 훨씬 어려워졌기 때문이다. 이에 저자는 기술의 엄청난 잠재력을 활용하되, 냉철하고 신중한 태도와 균형을 이루기 위해서는 체감 중인 모든 특징을 분석해야 한다고 설명한다.
3. 다가오는 물결의 4가지 특징
살펴본 것처럼 강력한 신기술은 우리에게 엄청난 이점을 주는 만큼의 위협 요소도 제공하는 딜레마를 안고 있다. 이러한 기술은 강력한 수요와 비용 절감이라는 효과를 통해 저항을 압도하는 확산세를 갖게 된다 (일단 공개되면 되돌릴 수 없다는 뜻이다). 또한 AI와 생물학, AI와 로봇 공학 등 기술 간 상호 자극은 각 영역의 발전을 가속화시켜 예측 불가능성도 커질 수밖에 없다. 저자는 기술 물결의 이러한 특징을 4가지로 요약한다.
- ① 비대칭
- 비대칭적 위협 초래 네트워크 규모 커지면 피해 발생해도 억제 거의 불가능. 유전적 변화 하나로 모든 것 바뀔 수 있음.
- 러우 전쟁 초기 민간 드론 부대 소형 폭발물 드론으로 러시아 선두 전차, 보급 기지 폭파로 진격 저지. 압도적 전력차 극복
- 비대칭적 위협 초래 네트워크 규모 커지면 피해 발생해도 억제 거의 불가능. 유전적 변화 하나로 모든 것 바뀔 수 있음.
- ② 초진화
- 생명 공학, 의학, 개인 유전자 변형 넘어 방대한 응용 분야 등장, 수십 년 내 모든 것 근본적으로 변화시킬 것
- 21세기 초 혁신 비트에 집중해 저항 가장 적은 경로 따름 → 소프트웨어 초진화 확산, 원자 세계 전례 없는 복잡성, 정밀도로 비트로 변환 → 비트 세계 다시 상상 불가한 속도, 편리함으로 원자로 변환되는 것 목격하게 될 것
- 고전 컴퓨터보다 수백만 배 강력한 양자 기술 통해 분자 수준에서 창조적 반복 생성 가능. 현실 세계 혁신 실시간 가까운 디지털 속도로 움직일 것
- ③ 옴니유즈 : 접근의 민주화 = 위험의 민주화
- 기술 보편화 경향, 이중 용도 (악용) 위험 상존해 국가 안보 영향 미칠 수 있음
- 치료제 대신 살상 물질 찾을 수도 있음. 분자 생성 AI에 독극물 요청, 6시간 만에 생화학 무기 버금가는 독성 분자 4만 개 이상 찾아냄
- 딥러닝 게임 설계, 전투기 함대 조정 기능 갖출 수 있음 – 민간 기술 개발 만으로 국가 안보 영향
- 기술 보편화 경향, 이중 용도 (악용) 위험 상존해 국가 안보 영향 미칠 수 있음
- ④ 자율성
- 기술, 시스템, 우리 이해 범위 벗어나 예측 불가능한 것이 자율성의 본질
- 역사 통틀어 기술은 도구에 불과했으나, 살아 움직이면서 인간 감독 관리 벗어나는 것 본질적으로 다름
- 현대판 튜링 테스트 : 수준 높은 목표만 지정하면 달성 방법 기계 찾아내도록 맡길 수 있을 것
- AI 자기 개선 거듭해 빠르고, 효과적 반복 향상. 걷잡을 수 없고 억제 불가 기술 결정판. 인간 힘, 통제 한계 도달 시점 오게 될 것
- 스튜어트 러셀, 고릴라 문제. 더 지능적인 존재 우리 지배 가능성. 먹이 사슬 최상위 자리 잃을 수 있음
4. 억제 방안
그러나 기술 발전에 엄청난 인센티브를 제공하는 현대 사회에서 억제는 사실상 모두 (국가, 기업, 연구자) 의 이익에 반하는 주장일 수밖에 없다. 게다가 이를 뒷받침하는 강력한 수요 (저렴해진 편리함) 는 결국 수많은 반대와 저항을 이겨내고 현실을 받아들이도록 이끌곤 했다. 역사적으로 거대한 물결을 제대로 제어해 본 적이 없다는 점에서 전례 없이 거대한 현재의 물결을 감당할 수 있을까 싶지만, 이번 물결까지 방치할 경우 이전과는 전혀 다른 양상(디스토피아)이 펼쳐질 수 있음을 경고하는 저자는 우리가 어떻게 힘을 합쳐야 하는지 구체적으로 제안한다.
1) 기술에 대한 전면적인 인식 개선
- 더 이상 경쟁하는 인간들 간의 힘의 균형이 아니라, 인간과 도구 사이의 힘의 균형을 맞춰야 한다는 것
- 규제만으로는 불충분하다는 점 충분히 인지하고, 전 세계가 기술에 대해 억제라는 일관된 목표 가져야 함
- 어떤 국가도 단독으로 해결 불가능함 인정하고 공동 대응 추구
2) 억제를 위한 10가지 제안
- 기술 안전 분야에 인센티브 제공 : 예로 기술 기업 수익의 20% 안전 투자 의무화
- 시스템 감사 수용 : 신뢰는 투명성에서 비롯되므로 안정, 무결성, 손상 여부 등 모든 수준에서 감사 받기
- 정책 마련 위해 시간 벌기 : 필요 시 수출, 인력 통제 등 기술 적용 시점 늦추기
- 꼭 필요한 비평가 : 고착화 된 인센티브, 규제 온전히 작동되지 않는 세상에서 전문가 입장 반드시 필요
- 사회적 기업 추구 : 주주 이익 목표에서 사회적 목적 함께 추구하는 기업 추구
- 정부 자체 역량 키워 대응 : 정부는 기술 물결 해결 가능한 유일한 주체. 비록 완벽하지 않으나 강화, 보호 위해 모든 노력 다해야 함
- 아웃소싱 아닌 자체 역량 키워 모니터링, 대응
- 중요한 개발, 연구소 설립 시 라이선스 조건 강화
- 세제 전면 개편 : 가장 큰 가치가 노동에서 자본으로 이동 중이므로 사회 안정, 안보, 복지 재원 마련 위해 개편
- 미국의 경우 근로소득 25%, 장비 등에는 5%만 부과하고 있으나 자본 세금 인상 필요
- 토지, 부동산, 주식, 고가 자산 등 자본 세금 인상 + 자동화, 시스템 등 새로운 형태의 세금 부과
- 대기업들 국경 초월 과세 메커니즘 구축 (기업 가치 일부 공공 배당금 지급 등 장려해 극심한 부 집중 시대의 가치 재분배)
- 국제적 협력 : 어떤 국가도 단독 해결 불가능하므로 레이저 공격 금지, 핵확산 금지조약 등 성공적인 선례 토대로 인류 공영 이끌어 내야 함
- 실패 존중, 포용 문화 : 시스템 실패 시 원인 파악, 전파 통해 선제 대응 용이하도록 비난 문화 자제
- 민중의 힘 : 수요 이끄는 것 결국 사람, 모두가 억제에 한 목소리 내야 변화 가능함
- 일관성 : 억제 도달해야 할 특정 목표 아닌, 계속해서 규정해 나가야 하는 대상임 인지하고 지속적으로 조율
5. 결국 내가 할 수 있는 일
이제껏 접해왔던 인공지능, 자본주의 문제 관련 저자들이 제시한 해법의 공통점은 정부의 역할이 그 어느 때보다 중요하다는 걸 강조했다는 점이다. 주주 이익, 경제적 보상을 향해 질주하는 기술 기업들에 재갈을 물리고 방향을 바꿀 수 있는 가장 강력한 힘 (조세) 을 가졌기 때문이다. 하지만 무턱대고 정부만 바라보는 것도 능사는 아니다. 『불로소득 자본주의 시대』에서 엿볼 수 있었던 것처럼, 전후 국가 재건을 위해 정부에게 권력을 몰아줘 (공공화) 부패와 비효율로 얼룩진 결과, 경제적 불평등의 원흉인 신자유주의 (민영화) 를 불러왔기 때문이다. (* 참고 글 : ② 대안 자본주의를 위한 정부의 역할) 인류에게 막대한 이익과 위험을 동시에 제공하는 기술의 딜레마처럼, 큰 정부와 작은 정부 어느 한 쪽만 쫓는 것도 결국 문제가 될 수밖에 없다.
사실 나라 안팎으로 ‘함께’ 위기를 극복할 방법을 찾는 것이 갈수록 어려워지는 상황에서, 각자도생 외에는 딱히 다른 답이 떠오르지 않는다. 우리 몸도 24시간 음식이 들어오지 않으면 지방을 비축한다고 하는데, 모두가 돈에 ‘더’ 혈안이 되어가는 것도 정확히 같은 의미에서이지 않을까? 소 잃고 외양간이라도 고친다면 기대를 걸어볼 수 있겠지만, 그게 외양간이 맞았냐는 식의 논쟁만 벌이는 상황에서는 더더욱.
물론 그럼에도 미약하지만 내가 할 수 있는 일을 찾아나서는 일은 앞으로도 포기하지 않을 것이다. 아우슈비츠 생존자의 교훈처럼 결국 생존에 성공한 사람들은 낙관주의자도, 비관주의자도 아닌 과정에 충실 (의미 부여에 성공) 한 사람들이었기 때문이다. 어려운 상황에서도 저자처럼 문제의식을 고취시키고 행동을 취하게 하는 사람들이 있는 것처럼, 나 또한 이런 내용들을 잘 정리해 공유하는 것이 그 출발점이 될 수 있으리라 믿는다. 그 이후의 길은 어떻게 될지 여전히 모르겠지만. 비록 많은 분들이 외로운 길로 내몰리고 있지만, 조금이라도 마음을 나누고 힘을 더할 수 있는 길을 찾을 수 있길, 그렇게 다수에게 좋은 길을 함께 만들어갈 수 있길 바라는 마음이다.
* 표지 이미지 출처 : Unsplash
