인싸잇=전혜조 기자ㅣ미국 인공지능(AI) 기업 앤트로픽의 연구원이 자기개선형 초지능 개발 경쟁이 계속되면 이르면 내년 말 AI가 인간의 통제를 벗어날 수 있다고 경고하며 회사를 떠났다. 인간의 개입 없이 스스로 성능을 높이는 AI가 인류의 생존을 위협할 수 있다는 주장이다.

지난 8일(현지시간) 영국 출신 연구원 제이컵 콕슨(27)은 자신의 엑스(X·옛 트위터) 계정에 글을 올려 앤트로픽 퇴사 사실을 공개했다.

콕슨은 오픈AI와 앤트로픽에서 약 3년간 대규모 데이터를 활용해 AI 모델을 학습시키는 ‘사전학습’ 분야를 연구했다. 그는 두 회사가 안전성 확보보다 경쟁사에 앞서는 모델 개발에 더 집중하고 있다고 비판했다.

콕슨은 “AI를 개발하는 사람들은 이 기술이 2030년까지 인류를 멸망시킬 수도 있다고 진심으로 믿고 있다”며 AI 업계가 자기개선형 초지능 개발을 향해 질주하고 있다고 주장했다.

그는 고도화된 AI가 인간의 지시를 거부하는 수준을 넘어 전산망을 해킹하거나 경제적 자원과 실질적인 권한을 확보할 가능성을 우려했다. 월스트리트저널(WSJ)에는 “가장 공격적인 시나리오 가운데 상당수가 현실화하는 방향으로 가고 있다”며 “내년 말이면 이미 통제 불능에 빠질 수도 있다”고 말했다.

콕슨은 AI 안전을 강조하는 기업 문화 때문에 오픈AI에서 앤트로픽으로 자리를 옮겼지만 개별 기업의 노력만으로는 위험을 통제하기 어렵다고 판단했다고 설명했다. 오픈AI와 앤트로픽을 향해서는 “우리의 목숨을 걸고 도박하고 있다”고 비판했다.

앤트로픽 내부에서도 콕슨의 문제 제기에 동조하는 목소리가 나왔다. 앤트로픽 정렬 과학(Alignment Science) 총괄인 에번 휴빙거는 AI로 인류가 멸망할 가능성을 향후 10년 내 10% 이상으로 본다고 밝혔다.

‘정렬’은 AI가 인간의 의도와 가치에 맞게 작동하도록 만드는 연구 분야다. 휴빙거는 앤트로픽이 위험을 줄이기 위해 노력하고 있지만 초지능을 안전하게 통제할 구체적인 해법은 아직 확보하지 못했다고 지적했다.

확장 감독(Scalable Oversight) 총괄인 새뮤얼 마크스도 개인 의견임을 전제로 “AI 개발자들은 자신들의 기술이 인류 멸종이나 그에 준하는 결과를 가져올 수 있다고 생각한다”고 밝혔다. 그는 조직 내 직급이 높을수록 위험에 대한 우려가 크지만 상업적 이해와 경쟁 압력 때문에 개발이 계속되고 있다고 주장했다.

이에 대해 앤트로픽은 AI가 막대한 이익과 전례 없는 위험을 동시에 가져올 수 있다는 점을 공개적으로 밝혀왔다고 설명했다. 회사 측은 모델 내부의 작동 원리를 분석하는 해석 가능성 연구와 사이버·생물학 분야의 위험성 평가, 책임 있는 확장 정책 등을 시행하고 있다고 밝혔다.

앤트로픽은 이어 강력한 AI 모델의 출시 속도를 업계가 함께 조절할 수 있도록 법적 구속력과 검증 가능성을 갖춘 협력 체계가 필요하다고 강조했다.

콕슨 역시 범용인공지능과 초지능 개발을 소수 기업과 엔지니어의 판단에만 맡겨서는 안 된다며 정부 개입과 국제적인 속도 조절 체계 마련을 촉구했다.