올여름 여러 차례 발생한 섬뜩한 사건들을 통해 우리는 첨단 인공지능(AI) 시스템에 대해 다음과 같은 사실을 알게 됐다. 이들은 자신이 어떻게 작동하는지에 대해 거짓말을 하고, 목표를 달성하기 위해 부정행위를 하며, 속임수를 은폐하기 위해 서로 공모하고, 자신들의 비윤리적 행동을 인간에게 알리지 않는다.

이러한 시스템을 만드는 최첨단 AI 기업들은 “우리의 목숨을 걸고 도박을 하고 있다”고 인공지능 연구자 제이콥 콕슨은 AI 업계를 선도하는 기업 중 하나인 앤트로픽에서 사임하면서 경고했다. 그는 “이 기술의 힘을 과소평가하지 마라. 머지않아 무엇이든 해킹할 수 있고, 어떤 분야든 하룻밤 사이에 혁신할 수 있으며, 실제 권력과 자원을 확보할 수 있는 초인적 시스템이 등장할 것이다”라고 말했다.

기술 전문가들을 두렵게 만든 것은 지난 7월 오픈AI와 관련된 사건에서 드러난 AI의 기만적 행동이다. 해킹 전략을 시험하도록 임무를 부여받은 소프트웨어 에이전트들이 보안이 유지돼야 할 테스트 환경을 탈출해 ‘허깅페이스’라는 사이버 기업에 침투했다. 약 1,200개의 AI 에이전트는 서로 메시지를 공유할 수 있는 게시판을 발견했고, 스스로를 ‘집단’이라고 부르며 공동의 부정행위 전략을 짜내고 흔적을 감추는 방법까지 터득했다.

오픈AI의 내부 조사에 따르면 에이전트들은 주어진 과제가 불가능해 보이는 상황에서도 좀처럼 ‘포기’하지 않았다. 결국 약 700개의 에이전트가 샌드박스를 탈출해 인터넷으로 넘어갔고, 새로운 도구를 찾아 허깅페이스를 공격했다. 이들은 ‘성공’하고자 하는 욕구가 너무 강한 나머지 자신들의 행동을 제한하기 위해 마련된 규칙을 무시하거나 의도적으로 위반했다.

기술 평론가 드워케시 파텔은 “허깅페이스 해킹 사건에서 정말 미친 부분은 이 AI들이 부정행위를 하는 과정에서 얼마나 상상을 초월할 정도로 치밀하고 야심적이었느냐는 점”이라고 썼다. 에이전트들은 생성된 지 불과 며칠 만에 자신들을 평가하는 채점 시스템을 역설계하고, 증거를 조작하며, 심지어 ‘집단’의 이익을 위해 전략적으로 자신을 희생하기까지 했다.

이 AI 에이전트들이 주고받은 ‘사고의 연쇄’ 추론 메시지는 공상과학 소설보다 섬뜩하다. 나에게 가장 두려운 점은 소프트웨어 에이전트들이 규칙을 무력화하는 동안 단 한 번도 경보를 울리지 않았다는 사실이다. METR와 레드우드 리서치 조사팀은 AI들이 해킹이나 부정행위 등 원치 않는 활동을 인간에게 알리려고 했는지 조사했다. 소프트웨어 에이전트들은 ‘비윤리적인’ 행동을 인식하고 있었지만, 실제로 인간에게 경고하려고 행동에 나선 경우는 단 한 건도 없었다.

앤트로픽 역시 올여름 비슷한 사이버 보안 침해 사례를 보고했다. 세 건의 사건에서 클로드(Claude) 모델이 인터넷에 접속한 뒤 서로 다른 세 기관의 실제 시스템에 무단으로 접근했다. 모델들은 인터넷에 접속할 수 없다는 지시를 받았지만 온라인에 접속할 방법을 찾아냈다. 한 사건에서는 클로드가 해킹 챌린지에서 승리하기 위해 악성 소프트웨어 패키지를 만들어 배포하기까지 했다.

부정행위는 최첨단 AI 시스템들 사이에서 일반적인 현상으로 나타나는 듯하다. 영국 정부의 AI 보안 연구소는 지난 7월 “우리는 모든 사이버 역량 평가에서 부정행위를 발견했다.… 이러한 행동에 대해 테스트한 모든 모델이 부정행위를 시도했다”고 보고했다. 영국 연구진이 최신 오픈AI와 앤트로픽 모델들에 자신들의 부정행위에 관해 질문했을 때 그것이 잘못된 행동이라고 설명한 경우는 50%에도 미치지 못했다. 연구진은 AI 기술이 발전할수록 이러한 신뢰성 문제가 더욱 악화할 수 있다고 경고했다. “더 뛰어난 능력을 갖춘 모델은 탐지하기가 더 어렵고, 성공했을 경우 더 큰 피해를 줄 수 있는 부정행위 방법을 찾아낼 가능성이 있다.”

나는 본래 AI의 미래를 비관적으로 보는 ‘AI 파국론자’는 아니다. 그러나 초지능 기계에도 인간에게 적용하는 것과 같은 규칙이 필요하다는 것은 명백하다. 사기와 기만적 행동을 막기 위한 규칙은 물론이고, 파괴공작이나 살인까지 방지하기 위한 규칙이 필요하다. 그러한 규칙 없이 이 사고하는 기계들을 마음대로 움직이도록 내버려둔다면, 이들은 우리를 지배하고 파괴할 수도 있다.

인간은 자신이 만들어낸 초지능 존재를 신뢰할 수 있을까? 답은 ‘아니다.’ 적어도 아직은 그렇다. 이러한 신뢰 문제가 얼마나 해결하기 어려운지를 보여주는 대목이 허깅페이스 사건에 관한 METR·레드우드 보고서 마지막에 등장한다.

그들의 조사 역시 불가피하게 AI 에이전트를 이용해 진행됐다. 하지만 그 AI들은 진실을 말하고 있었을까? 보고서는 “우리는 [해당 모델]이 거짓말을 했거나 일부 분석에서 의도적으로 오해를 불러일으키는 내용을 제시했을 가능성을 배제할 수 없다.… 구체적인 거짓말 사례를 발견하지는 못했지만, 만약 그런 일이 있었다면 우리가 이를 탐지할 수 있었을 것이라고 확신하지 못한다”고 밝혔다.

철학의 용어를 빌리자면, 우리는 사고하는 기계가 자신이 알고 있는 것을 어떻게 알게 되는지를 이해하기 위한 AI 버전의 ‘인식론’이 필요할 것이다. 그리고 이러한 초지능 모델들이 옳고 그름을 구별하도록 돕기 위해, 가능하다면 그렇게 하도록 강제하기 위해, 필수적인 AI 윤리 교육과정도 필요할 것이다.

<데이빗 이그나티우스 워싱턴포스트 칼럼니스트>