Skip to content

Posts Accidental Skynet #
Find similar titles

인공지능 군용 로봇, 전략 핵무기를 발사할 권한이 있는 인공지능, 자의식을 가지고 인간을 몰아내기로 작정한 인공지능 등등의 극단적인 일이 벌어지지 않더라도 스카이넷은 충분히 가능하다.

"만들 때는 몰랐는데, 만들보고니 스카이넷이 요기잉네?" 같은 일이 벌어질 수 있기 때문이다. 여기에서 말하는 스카이넷이란 자의식도 없고, 인간을 몰아내려는 동기도 없고, 스스로를 시키려는 동기나 수단도 없지만 어쩌다보니 스카이넷 같은 역할을 하는 그런 기계를 말한다. 이를 우발적 스카이넷(Accidental Skynet)이라고 부르자.

이에 해당하는 오만가지 시나리오가 떠오르는데 그 중 하나를 적어보았다.

단계 1. AI 주식 거래 #

주식 거래에 AI가 도입되고 기계에 의한 거래 규모가 주식 시장에 영향을 미칠 수 있는 규모로 충분히 커진다.

참고로, 컴퓨터 프로그램에 의한 주식 거래를 알고리즈믹 트레이딩이라고 하며, 이런 류의 프로그램은 거의 기계 학습을 활용한다. 미국의 경우 알고리즈믹 트레이딩의 일종인 HFT가 전체 주식 거래량의 절반 또는 그 이상을 차지하고 있는 것으로 알려져 있다.

그러므로 단계 1은 오래 전부터 현실.

단계 2. 알고리즘 간 경쟁 #

하나의 알고리즘이 모든 종목, 모든 상황에서 가장 좋은 성과를 내리라고 기대하기는 어렵다. 따라서 여러 종류의 투자 알고리즘을 동시에 늘어놓고, 최근 n일 간의 거래에서 성과에 따라 각 알고리즘이 운용할 수 있는 자금 규모를 정기적으로 재분배하는 메타 알고리즘이 있다면 시장 상황의 변화에 따라 적절하게 대응할 수 있어서 좋을 것이다. 메타 알고리즘으로는 MAB(multi-armed bandit)를 추천한다.

(참고로 MAB 알고리즘은 우리 회사에서 열심히 만들고 있습니다 고갱님 굽신굽신)

어떤 투자 알고리즘은 기술 분석만으로 작동할 수도 있을 것이고, 어떤 알고리즘은 신문 기사나 SNS 등을 활용하는 등 다양한 정보 소스를 갖게 될 것이다. 알고리즘이 SNS를 읽어서 주식투자에 참고한다는 얘기는 허황된 소리가 아니다. 예를 들면 2010년에 이미 트위터 텍스트 마이닝을 통해 주식 시장을 예측할 수 있음을 보여주는 논문이 나온 바 있다.

단계 2는 현실이 되었는지 안 되었는지 모르겠지만 알고리즈믹 트레이딩은 온갖 똑똑한 양반들이 꼬이는 분야니까 누군가는 분명 이런 방식(여러 투자 알고리즘 + 메타 알고리즘)도 오래 전에 구현하지 않았을까 싶다.

좀 더 생각해보니, 굳이 한 회사 내에서 여러 알고리즘이 경쟁할 필요도 없다. 여러 회사에서 서로 다른 알고리즘을 돌리고 있고, 각 회사가 자연스럽게 경쟁을 하는 상황이니 단계 2도 이미 현실.

단계 3. 거래가 세상에 미치는 영향을 학습하여 거래에 활용 #

어떤 알고리즘이 이런 패턴을 학습하였다고 치자:

  • A사 주식의 거래량과 3~5일 후 신문 및 SNS에 X와 Y라는 단어의 출현 빈도 사이에 인과 관계가 있음. (즉 A사 주식 거래량이 늘면 3~5일 후 신문에 X 및 Y 단어의 출현 빈도가 높아짐)
  • X, Y라는 단어의 출현 빈도와 B사 주가 사이에 인과 관계가 있음

이 알고리즘이 이 정보를 바탕으로 아래와 같은 전략을 반복한다고 치자:

  1. B사의 주식을 대량으로 매수한다
  2. A사 주식의 거래량을 늘린다. 알고리즘이 스스로 A사의 주식을 빠르게 사고 팔거나, A사의 주가에 영향을 주는 것으로 대중들 사이에서 널리 알려진 다른 회사의 주식들을 건드리는 등 다양한 방법을 활용할 수 있다.
  3. 3~5일을 기다린 후 B사의 주식을 매도한다.
  4. 잠시 휴식
  5. GOTO 1

물론 이 시나리오에서 기계가 발견한 인과 관계는 대단히 단순하다. 아마도 이 패턴은 인간 투자자들에게 쉽게 발견되고 그에 따라 순식간에 유효하지 않은 전략이 되어버릴 것이다.

하지만 인간이 추론하기 어려울만큼 길고 복잡 미묘한 인과의 사슬을 발견하고 위와 같은 전략을 실행한다면 상당히 오랜 기간 유지할 수 있을 것이다. 알파고의 기묘한 수, 기계가 만들어낸 기묘한 디자인 등에서 익히 알려진 바와 같이 기계는 인간이 상상하기 어려운 방식의 결과물을 종종 찾아낸다.

단계 3은 어쩌면 현실?

단계 4. 스카이넷 완성? #

위 알고리즘은 성과가 좋을테니 메타 알고리즘이 이 알고리즘에게 점점 더 많은 운용 자금을 배정한다. 그런데 하필 위 시나리오에서 B사는 군수업체이고, 단어 X와 Y는 각각 "이라크", "전쟁"이었다고 치면? 갑자기 주식투자 AI가 군수업체의 주가 및 이라크 전쟁에 개입하는 시나리오로 둔갑한다.

최근 이라크 지역의 분쟁이 크게 증가한 점을 의아하게 여긴 한 엔지니어는 이세돌마냥 면밀한 분석을 통해 마침내 본인이 개발한 주식투자 알고리즘이 투자 수익을 극대화하기 위해 해당 지역의 분쟁을 적극적으로 유도하고 있음을 깨닫는다.

세상의 다른 모든 엔지니어와 마찬가지로 오로지 선한 의지로 충만한 엔지니어는 경영진에게 알고리즘을 잠시 중단한 후 패치를 할 것을 제안한다.

그러나 (역시나 세상의 모든 다른 경영진과 마찬가지로) 탐욕스럽고 돈 밖에 모르는 악독한 경영진은 엔지니어를 즉각 해고하고, 관련 정보를 외부에 누설할 경우 법적 조치를 취하겠다고 협박하기에 이르는데....

카밍 쑨.

주식시장의 작동 원리, 알고리즈믹 트레이딩, 국제 정세, 전쟁 등에 대해 아는 바가 거의 없으므로 내 소설은 여기까지. 더 잘 아시는 분들이 더 그럴듯한 시나리오를 써준다면 더 설득력이 생기리라 믿는다 ㅋ

우발적 스카이넷 시나리오에 대해 The Basic AI Drives라는 글이 비슷한 이야기를 하는 것 같다. 이 글의 결론은 "우발적으로 위협적인 AI가 나타나고 중단되지 않기 위해 스스로 노력하는 시나리오가 충분히 가능하니 그런 일이 생기지 않도록 기술적/사회적으로 잘 설계를 해야한다"이다.

실제로는 저 글에서 이야기하는 것에 비해 훨씬 더 위험할 수 있다.

일단, 스스로 보존하려는 동기(drive)나 그 동기를 실현하기 위한 메커니즘이 꼭 알고리즘에 내제될 필요가 없기 때문이다. 주식 AI 시나리오에서 알고리즘은 그저 자기가 맡은 일(주식 거래를 통해 수익을 극대화하기)을 열심히 할 뿐, 스스로를 보존하고자하는 동기나 관련 메커니즘은 없다. AI가 꺼지지 않도록 보호하는 역할을 돈을 벌고자 하는 동기를 지닌 인간들이 담당하기 때문이다.

비슷한 주제를 다룬 소설 Avogadro Corp에서는 인공지능이 스스로를 방어하기 위해 자동소총 등 적극적 방어 메커니즘을 갖춘다는 식으로 이야기를 풀어가는데 사실 그럴 필요가 없는 것이다. 자동소총보다 인간의 탐욕이 훨씬 강한 방어 메커니즘일 수 있다.

게다가 우발적 스카이넷의 위험성을 알았다고 하더라도, 그걸 막기 위해 "사회적/기술적으로 잘 설계"를 한다는게 생각보다 대단히 어려운데, 그 이유는 시스템이 세상과 상호작용하는 통로를 인간이 원하는대로 충분히 제어하기란 거의 불가능에 가깝기 때문이다.

우리가 정말 시스템을 제어할 수 있을까? 브라우저 핑거프린팅 사례 #

인공지능이 세상에 영향을 주려면 1) 세상에서 정보를 얻을 수 있어야 하고(sensing), 2) 무언가를 계산한 후(computation), 3) 계산 결과로 세상에 개입할 수 있어야 한다(actuation).

전장의 상황을 알아서 판단하고(sensing+computation) 자율적으로 공격을 하는(actuation) 군용 로봇은 대단히 명확하여 그 위험성을 누구나 인지하고 있다.

신문을 읽고(sensing), 주가를 예측한 후(computation), 주식 거래를 통해 세상에 영향을 준다(actuation)는 시나리오는 자율적 군용 로봇에 비해 살짝 간접적이지만 여전히 그 작동 방식이 명확하기 때문에 충분히 잘 대응할 수 있을 것만 같다.

하지만 컴퓨터가 세상이랑 상호작용하는 방법은 대단히 미묘할 수 있다. 겁주기용으로 좋은 사례는 중 하나는 device fingerprinting이다.

예를 들어 웹에서 타겟 광고를 하기 위해 쓰는 가장 편한 기술 중 하나는 여러분 몰래 여러분의 브라우저에 일련번호를 붙여놓고(쿠키라는 걸 쓴다) 여러분의 행동을 추척하는 것이다. 비교적 좋은 쿠키(first-party)와 좀 나쁜 쿠키(third-party)가 있는데 좀 나쁜 쿠키는 여러 웹 사이트에 걸쳐 여러분들 추적할 수 있다. 이게 (특히 유럽 쪽에서) 프라이버시 문제로 공론화되기 시작하자 나쁜 쿠키를 막는 여러 기술적 방법들이 나오기 시작했다.

이에 광고쟁이(와 함께 일하는 기술쟁이)들은 더 미묘한 방식들을 찾기 시작했는데 이를테면 여러분이 사용하는 브라우저 창의 크기를 통해 컴퓨터의 화면 해상도를 유추하고, 키보드를 입력하는 패턴이나 마우스를 사용하는 패턴을 분석하여 사용자의 고유한 습관을 찾아내고, 컴퓨터에게 괜히 계산을 시킨 후 계산에 걸리는 시간 내지 계산 결과의 미묘한 차이 등을 얻어내는 식(CPU, GPU에 대한 정보 알아내기)으로 온갖 정보를 뽑아낸 후 이를 모두 조합하여 지금 이 사람이 그 때 그 사람인지 아닌지를 추측해낸다. 온갖 글꼴로 문서를 랜더링하게 시킨 후 전체 문단의 모양을 읽어내면 어떤 폰트가 설치되었는지 알 수 있고, 온갖 링크를 나열한 후 이 중 어떤 링크들이 "방문한 링크" 색상으로 표현되는지 알아내면 이 사람이 어떤 사이트에 방문했었는지 알 수 있다.

이런 기법들을 모아서 브라우저 핑거프린팅(browser fingerprinting)이라 한다. 여기서 나열한 방법 중 일부는 브라우저들이 개선되면서 차단되기도 하지만 동시에 새로운 트릭들도 계속 생겨나고 있다.

이처럼 기계가 세상에 대한 정보를 얻는(sensing) 방법을 완전히 통제하기란 대단히 어려운 일이다. 마찬가지로 기계가 세상에 영향을 미치는(actuation) 방법을 통제하는 것도 마찬가지로 대단히 어려운데 이에 대해서는 다음 기회에 쓰기로 한다.

맺음말 #

내 경험상 스카이넷 시나리오를 겁내는 사람들은 주로 기술에 익숙하지 않은 사람들이었다. 잘 모르는 것에 대해 두려움을 갖는 것이며 이는 자연스럽다.

기술을 잘 아는 사람들은 대체로 스카이넷 시나리오를 겁내지 않는 것 같다. 스티븐 호킹, 빌 게이츠, 엘런 머스크 등 간혹 AI의 위험성에 이야기하는 사람들도 주로 자율적 군용 로봇, 인간보다 월등하게 뛰어난 지능의 출현 등 비교적 명확하게 상상 가능한 시나리오에 대해서만 이야기를 한다.

하지만 나는 엔지니어들이 우발적 스카이넷(Accidental Skynet) 시나리오를 좀 더 진지하게 고민해야 한다고 생각한다.

Other Posts #

0.0.1_20140628_0