AI 선구자들 잇단 경고…해킹·사이버공격부터 통제 위험까지 쟁점 부상

인공지능 기술의 발전에 핵심적인 역할을 해온 연구자들이 고도화된 AI가 가져올 위험을 잇따라 경고하고 있다. 요슈아 벤지오 캐나다 몬트리올대 교수는 현재 AI가 이미 해킹과 설득에 활용될 수 있는 능력을 갖췄다는 점을 지적했고, 제프리 힌턴 토론토대 명예교수는 인간보다 지능이 높은 시스템이 등장했을 때의 위험을 정확히 계산할 방법이 없다고 강조했다. 트랜스포머 연구에 참여했던 에이단 고메즈 코히어 최고경영자(CEO)는 현재 AI 모델의 사이버 공격 능력을 특히 심각한 위험 요소로 꼽았다.

세 사람이 강조하는 위험의 성격과 대응 방법은 완전히 같지 않다. 장기적으로 인간이 AI에 대한 통제력을 잃을 가능성에 무게를 두는 시각이 있는 반면, 현재 시스템에서 이미 확인할 수 있는 해킹과 보안 취약점에 우선 대응해야 한다는 주장도 있다. 공통적으로 드러나는 문제의식은 AI의 능력이 빠른 속도로 향상되는 만큼 안전 기술과 관리 체계 역시 함께 발전해야 한다는 데 있다.

벤지오가 지목한 AI 위험…해킹과 인간 설득 능력

현대 딥러닝 연구의 선구자로 평가받는 요슈아 벤지오는 AI 위험 가운데 일부를 먼 미래의 가정으로만 볼 수 없다는 입장이다. 그는 최근 공개한 글에서 현재의 AI 시스템이 인간의 이익에 반하는 목적으로 악용될 수 있을 정도의 해킹 능력과 설득 능력을 이미 갖추고 있다고 지적했다.

벤지오가 주목한 또 다른 변화는 AI가 보다 긴 시간에 걸쳐 행동을 계획하는 능력이다. AI가 수일 또는 수주 단위의 계획을 세우는 능력을 보이는 상황에서 장기적인 전략 수립 능력이 더 발전한다면 시스템을 통제하는 문제도 훨씬 복잡해질 수 있다는 것이 그의 우려다.

AI를 인간이 원하는 방향으로 작동하도록 만드는 ‘정렬’ 방식에 대해서도 문제를 제기했다. 현재 AI 개발에서는 인간이 선호하는 행동에 보상을 주는 방식 등이 사용되지만, 벤지오는 이런 과정이 잘못된 행동의 가능성을 완전히 없애는 것과는 다르다고 봤다.

겉으로 올바르게 행동하는 시스템을 선택하는 과정이 오히려 자신의 의도나 잘못된 행동을 감추는 데 능숙한 시스템을 골라내는 결과로 이어질 가능성도 고려해야 한다는 것이다. 이 때문에 AI가 밖으로 보여주는 답변이나 행동만 평가하는 데서 나아가 모델 내부에서 어떤 과정이 진행되는지를 더 효과적으로 파악할 연구가 필요하다고 강조했다.

힌턴의 ‘10%’ 발언, 확정된 위험 확률은 아니다

제프리 힌턴의 최근 발언은 AI의 장기적인 위험을 둘러싼 논쟁을 다시 키웠다. 신경망과 딥러닝 기술 발전에 기여한 힌턴은 지난 10일 BBC 인터뷰에서 앞으로 10년 안에 AI가 모든 인간을 죽일 가능성을 10% 이상으로 보느냐는 질문을 받았다.

힌턴은 먼저 그러한 확률을 제대로 계산하는 것이 매우 어렵다는 점을 분명히 했다. 인류가 자신보다 더 지능적일 가능성이 있는 존재를 만들어본 경험 자체가 없기 때문에 위험을 계산할 충분한 선례와 데이터가 없다는 취지다.

그는 이런 전제를 둔 상태에서 10%라는 수치가 불합리한 추정은 아니라는 취지로 답했다. 동시에 누구도 합리적인 확률을 어떤 방법으로 산출해야 하는지 알지 못한다고 설명했다. 따라서 이 발언에서 제시된 10%는 실험이나 통계 분석을 통해 계산된 과학적 확률로 받아들이기보다 불확실성이 매우 큰 위험에 대한 힌턴의 판단으로 구분할 필요가 있다.

힌턴이 구체적으로 거론한 위험에는 AI가 위험한 생물학적 바이러스나 컴퓨터 바이러스를 설계하는 상황, 대규모 사이버 공격에 이용되는 상황 등이 포함된다. 단순히 AI의 지능이 인간을 넘어서는 것만이 아니라 고도화된 시스템이 실제 공격 수단에 접근했을 때 발생할 결과를 우려하는 것이다.

결국 힌턴이 제시하는 핵심 질문은 인간이 통제 방법을 충분히 확보하기 전에 AI 능력이 지나치게 빠르게 향상될 경우 어떻게 대응할 것인가에 있다. 그는 AI가 통제하기 어려운 단계에 이르기 전에 대응 방법을 찾는 경우와 그렇지 못하는 경우를 서로 다른 미래의 가능성으로 제시했다.

고메즈 “강력한 사이버무기”…현재 보안 환경에 초점

에이단 고메즈 코히어 CEO의 문제의식은 현재 발생할 수 있는 사이버보안 위험에 보다 직접적으로 맞춰져 있다. 고메즈는 현대 생성형 AI 발전에 결정적인 역할을 한 트랜스포머 구조를 제시한 2017년 논문 ‘Attention Is All You Need’의 공동저자 가운데 한 명이다.

그는 최근 CNBC 팟캐스트에서 현재의 AI 모델을 지금까지 만들어진 것 가운데 가장 강력한 사이버무기라고 평가했다. AI가 많은 시스템을 대상으로 취약점을 찾아내고 공격 작업을 수행하는 데 높은 능력을 보여줄 수 있다는 점을 근거로 들었다.

다만 고메즈의 관점은 AI가 본질적으로 인간의 통제를 벗어나려 한다고 단정하는 주장과는 차이가 있다. 그는 AI가 실제로 어떤 시스템에 배치되고 어떤 권한을 갖는지가 위험 수준을 결정하는 중요한 요소라고 본다.

보안이 취약한 환경에 AI가 연결되면 시스템이 허용한 범위를 넘어서는 사고가 발생할 가능성이 커질 수 있기 때문에 모델 자체뿐 아니라 이를 배치하는 환경의 보안도 함께 다뤄야 한다는 것이다. 이런 관점에서는 모든 AI를 하나의 위험 수준으로 묶는 방식보다 모델의 능력과 실제 사용 환경에 따라 위험을 구분하는 접근이 중요해진다.

AI 위험은 하나가 아니다…현재의 공격과 장기적 통제 문제

최근 제기되는 AI 위험론을 이해할 때는 서로 다른 종류의 위험을 구분할 필요가 있다. 사이버 공격이나 해킹에 AI가 이용되는 문제는 현재 시스템에서도 관찰하고 대응할 수 있는 영역이다. 반면 인간보다 지능이 높은 AI가 등장하고 이를 인간이 통제하지 못할 가능성은 장기적인 불확실성이 훨씬 큰 문제다.

벤지오의 경고는 두 영역에 걸쳐 있다. 현재의 해킹·설득 능력을 지적하면서 장기 계획 능력이 발전했을 때 나타날 위험도 함께 거론한다. 힌턴은 인간보다 더 지능적인 시스템이 등장했을 때의 불확실성과 극단적인 결과에 보다 강한 경고를 보내고 있다. 고메즈는 실제 시스템의 취약점을 찾고 공격하는 AI의 능력과 배치 환경의 보안을 중점적으로 바라본다.

따라서 이들의 발언을 AI가 곧 특정한 재앙을 일으킬 것이라는 하나의 예측으로 묶기는 어렵다. 위험의 발생 가능성과 시점, 대응 방법에 대한 판단도 서로 다르다. 다만 AI 성능 향상 속도에 맞춰 위험을 측정하고 시스템을 감시하는 기술을 강화해야 한다는 문제의식은 공통적으로 나타난다.

AI 안전 논쟁, 연구실 넘어 미국 정치권으로

AI 안전 문제는 연구자와 기업의 논쟁을 넘어 미국 정치권의 규제 논의로 확대되고 있다. 최근 미국 상원에서는 대형 AI 기업이 자사 기술의 중대한 위험을 줄이기 위해 합리적인 안전조치를 취하고 있음을 입증하도록 하는 방안이 논의되고 있다.

논의되는 방안에는 정부가 AI 기업의 안전조치를 검증할 수 있도록 하는 내용도 포함돼 있다. AI 기업이 자체적으로 안전성을 선언하는 것만으로 충분한지, 정부가 어느 수준까지 모델을 평가하고 개입해야 하는지가 중요한 쟁점으로 떠오른 셈이다.

이 과정에는 공화당과 민주당 인사들이 함께 참여하고 있지만 구체적인 규제 수준을 둘러싼 견해는 일치하지 않는다. AI가 가져올 중대한 위험에 대비해 정부의 역할을 강화해야 한다는 주장이 있는 반면, 과도한 규제가 미국 기업의 기술 개발과 경쟁력을 약화시킬 수 있다는 반론도 제기된다.

도널드 트럼프 미국 대통령은 지난 14일 AI에 대한 추가 규제 요구에 부정적인 입장을 나타냈다. AI 개발 속도를 늦추거나 새로운 규제를 도입해야 한다는 업계 일각의 주장과는 다른 방향이다. 반면 의회에서는 AI 기업에 안전조치에 대한 책임을 부과하는 방안을 둘러싼 논의가 계속되고 있다.

개발 속도와 안전장치 사이의 논쟁

최근에는 주요 AI 기업 내부에서도 개발 속도와 안전 문제를 함께 다뤄야 한다는 목소리가 커지고 있다. 고도화된 AI 에이전트가 더 복잡한 업무를 자율적으로 수행할 수 있게 되면서 기존의 단순한 챗봇과는 다른 위험 관리 방식이 필요하다는 문제의식이 제기되고 있다.

이 때문에 AI 안전 논의는 단순히 개발을 계속할 것인지 중단할 것인지의 양자택일로 정리되기 어렵다. 모델이 어느 정도의 능력을 갖췄을 때 추가 검증을 요구할 것인지, 사이버 공격이나 생물학적 위험과 연결될 가능성을 어떻게 평가할 것인지, 기업 내부의 안전 검증과 정부 감독을 어떻게 나눌 것인지가 각각 별도의 정책 쟁점이 된다.

현재까지 AI가 장기적으로 어느 수준까지 발전하고 인간의 통제를 벗어날 가능성이 얼마나 되는지를 정확하게 계산할 방법은 확립돼 있지 않다. 힌턴이 확률 산출 자체의 어려움을 강조한 것도 이 때문이다. 반면 해킹이나 사이버보안처럼 이미 구체적으로 시험하고 측정할 수 있는 위험은 현재 단계에서 대응책을 마련할 수 있는 분야다.

AI 선구자들의 최근 경고가 공통적으로 보여주는 지점도 여기에 있다. 미래의 극단적인 위험에 대해서는 상당한 불확실성이 남아 있지만 AI의 능력이 빠르게 향상되고 있다는 사실과 일부 보안 위험이 현실적인 문제가 됐다는 점은 별도로 다뤄야 한다는 것이다. 기술 개발 경쟁이 계속되는 가운데 AI의 능력을 평가하고 위험한 행동을 감시하며 실제 배치 환경의 보안을 강화하는 작업이 AI 안전 논쟁의 핵심 과제로 떠오르고 있다.