미 국무부의 의뢰로 작성된 새로운 보고서는 빠르게 진화하는 인공지능으로 인한 ‘재앙적’ 국가 안보 위험에 대한 경고음을 전하며 연방 정부가 재앙을 피할 수 있는 시간이 얼마 남지 않았다고 경고합니다.
미 국무부 의뢰 보고서 분석
이 보고서는 주요 AI 기업의 최고 경영진, 사이버 보안 연구원, 대량살상무기 전문가, 정부 내 국가 안보 관계자 등 200여 명과의 1년여에 걸친 인터뷰를 바탕으로 작성되었습니다.
이번 주 글래드스톤 AI가 발표한 이 보고서는 가장 진보된 AI 시스템이 최악의 경우 “인간 종에 멸종 수준의 위협이 될 수 있다“고 단호하게 말합니다.
미 국무부 관계자는 이 보고서가 국내외에서 미국의 이익을 보호하려는 목표에 어떻게 부합하는지를 지속적으로 평가하기 위해 이 기관에 의뢰했다고 확인했습니다. 그러나 이 관계자는 이 보고서가 미국 정부의 견해를 대변하는 것은 아니라고 강조했습니다.
이 보고서의 경고는 AI의 잠재력이 투자자와 대중을 계속 매료시키고 있지만 실제 위험도 있음을 상기시키는 또 다른 경고입니다.
“AI는 이미 경제적으로 혁신적인 기술입니다. AI는 질병을 치료하고, 과학적 발견을 하고, 한 때 극복할 수 없다고 생각했던 문제를 극복할 수 있게 해줍니다.”라고 Gladstone AI의 공동 설립자이자 CEO인 제레미 해리스는 말했습니다.
“하지만 이는 재앙적 위험을 포함한 심각한 위험을 초래할 수도 있으므로 주의해야 합니다. 그리고 세계 최고의 AI 컨퍼런스에서 발표된 경험적 연구 및 분석을 포함하여 점점 더 많은 증거가 증가하고 있으며, 특정 임계값을 넘어서면 AI가 잠재적으로 통제할 수 없게 될 수 있음을 시사합니다.”라고 해리스는 말합니다.
로빈 패터슨 백악관 대변인은 조 바이든 대통령의 AI 관련 행정명령은 “전 세계 어느 정부도 인공지능의 가능성을 포착하고 위험을 관리하기 위해 취한 가장 중요한 조치”라고 말했습니다.
패터슨 대변인은 “대통령과 부통령은 계속해서 국제 파트너들과 협력하고 의회가 이러한 신흥 기술과 관련된 위험을 관리하기 위한 초당적 법안을 통과시킬 것을 촉구할 것”이라고 말했습니다.
분명하고 긴급한 개입의 필요성
연구자들은 AI가 광범위하게 제기하는 2가지 핵심 위험에 대해 경고합니다.
첫째, 글래드스톤 AI는 최첨단 AI 시스템이 무기화되어 잠재적으로 돌이킬 수 없는 피해를 입힐 수 있다고 말했습니다. 둘째, 보고서는 AI 연구실 내부에서 어느 시점에 개발 중인 시스템에 대한 “통제력을 상실”하여 잠재적으로 글로벌 보안에 치명적인 결과를 초래할 수 있다”는 사적인 우려가 있다고 말했습니다.
보고서는 “AI와 AGI(인공 일반 지능)의 부상은 핵무기 도입을 연상시키는 방식으로 세계 안보를 불안정하게 만들 가능성이 있다”며 AI “무기 경쟁”, 분쟁 및 “대량살상무기 규모의 치명적인 사고”의 위험이 있다고 덧붙였습니다.
글래드스톤 AI의 보고서는 이러한 위협에 대응하기 위해 새로운 AI 기관을 설립하고, “긴급” 규제 안전장치를 도입하고, AI 모델 훈련에 사용할 수 있는 컴퓨터 성능을 제한하는 등 극적인 새로운 조치를 취할 것을 촉구합니다.
저자들은 보고서에서 “미국 정부가 개입해야 할 분명하고 긴급한 필요성이 있습니다.”라고 말합니다.
안전 문제
글래드스톤 AI의 임원인 해리스는 자신의 팀이 공공 및 민간 부문 관계자들에게 “전례 없는 수준의 접근 권한”을 가지고 있었기 때문에 놀라운 결론을 내릴 수 있었다고 말했습니다. Gladstone AI는 ChatGPT의 소유주인 OpenAl, 구글 딥마인드, 페이스북의 모회사인 메타 및 앤트로픽의 기술 및 리더십 팀과 대화를 나눴다고 밝혔습니다.
“그 과정에서 우리는 몇 가지 냉정한 사실을 알게 되었습니다. 그 이면에는 첨단 AI의 안전 및 보안 상황이 AI가 조만간 초래할 수 있는 국가 안보 위험에 비해 상당히 부적절한 것으로 보입니다.”라고 글래드스톤 AI의 웹사이트에 게시된 보고서 발표에서 해리스는 말했습니다.
글래드스톤 AI의 보고서는 경쟁 압력으로 인해 기업들이 “안전과 보안을 희생하면서까지” AI 개발을 가속화하고 있다며, 가장 진보된 AI 시스템이 미국에 대해 “도난”되고 “무기화”될 수 있다는 전망을 제기했습니다.
이러한 결론은 업계에서 가장 영향력 있는 인사들을 포함하여 AI로 인한 실존적 위험에 대한 경고가 점점 더 많아지는 추세에 더해집니다.
거의 1년 전, ‘AI의 대부’로 알려진 제프리 힌튼은 구글에서 사직하며 자신이 개발을 도운 기술에 대해 내부 고발했습니다. 힌튼은 AI가 향후 30년 내에 인류 멸종으로 이어질 확률이 10%라고 말했습니다.
힌튼을 비롯한 수십 명의 AI 업계 리더, 학자 등은 지난 6월 “AI로 인한 멸종 위험을 완화하는 것이 글로벌 우선순위가 되어야 한다”는 성명서에 서명했습니다.
비즈니스 리더들은 AI에 수십억 달러를 투자하고 있음에도 불구하고 이러한 위험에 대해 점점 더 우려하고 있습니다. 지난해 예일대 CEO 서밋에서 설문조사에 참여한 CEO의 42%는 AI가 5~10년 후 인류를 멸망시킬 가능성이 있다고 답했습니다.
인간과 같은 학습 능력
글래드스톤 AI는 보고서에서 일론 머스크, 리나 칸 연방거래위원회 위원장, 오픈AI의 전 최고 경영자 등 AI의 실존적 위험에 대해 경고한 저명한 인물들을 언급했습니다.
글래드스톤 AI에 따르면 AI 기업의 일부 직원들도 사석에서 비슷한 우려를 공유하고 있다고 합니다.
보고서는 “잘 알려진 AI 연구소의 한 직원은 특정 차세대 AI 모델이 오픈 액세스로 공개된다면 ‘끔찍하게 나쁜 일’이 될 것이라는 견해를 밝혔습니다.”라며 “그 모델의 잠재적 설득력이 선거 개입이나 유권자 조작 같은 분야에 활용될 경우 ‘민주주의를 파괴’할 수 있기 때문”이라고 설명했습니다.
글래드스톤은 프론티어 랩의 AI 전문가들에게 2024년에 AI 사고가 “전 세계적으로 돌이킬 수 없는 영향”을 미칠 가능성에 대한 개인적 추정치를 비공개로 공유해 달라고 요청했다고 밝혔습니다. 보고서에 따르면 이 추정치는 4%에서 최대 20%까지 다양했으며, 비공식적인 추정치이기 때문에 상당한 편향이 있을 수 있다고 합니다.
가장 큰 와일드카드 중 하나는 Al의 진화 속도, 특히 인간과 비슷하거나 심지어 초인적인 학습 능력을 갖춘 가상의 Al 형태인 AGI의 진화 속도입니다.
이 보고서는 AGI가 “통제력 상실로 인한 재앙적 위험의 주요 동인”으로 간주되며, OpenAl, Google DeepMind, Anthropic 및 엔비디아는 모두 공개적으로 2028년까지 AGI에 도달할 수 있다고 밝혔지만 일부 사람들은 아직 멀었다고 생각한다고 지적합니다.
글래드스톤 AI는 AGI 일정에 대한 의견 불일치로 인해 정책과 안전장치를 개발하기 어렵고, 기술이 예상보다 느리게 발전할 경우 규제가 “해로운 것으로 판명될 수 있다”는 위험이 있다고 지적합니다.
AGI의 잠재적 위험
글래드스톤 AI가 발표한 관련 문서에 따르면 AGI의 개발과 AGI에 근접한 능력은 “미국이 지금까지 직면한 적이 없는 치명적인 위험을 초래할 것”이며, 이것이 무기회될 경우 “대량살상무기와 같은 위험”에 해당한다고 경고하고 있습니다.
예를 들어, 보고서는 AI 시스템이 “중요 인프라를 마비시킬 수 있는 고강도 사이버 공격”을 설계하고 구현하는 데 사용될 수 있다고 말했습니다.
보고서는 “‘추적 불가능한 사이버 공격을 실행하여 북미 전력망을 마비시켜라’와 같은 간단한 구두 또는 타이핑 명령만으로도 재앙적인 효과를 발휘할 수 있는 수준의 대응이 가능하다”고 말했습니다.
저자들이 우려하는 다른 사례로는 사회를 불안정하게 만들고 기관에 대한 신뢰를 약화시키는 AI 기반의 ‘대규모’ 허위 정보 캠페인, 드론 공격과 같은 무기화된 로봇 애플리케이션, 심리 조작, 무기화된 생물 및 재료 과학, 통제가 불가능하고 인간에게 적대적인 권력 추구형 AI 시스템 등이 있습니다.
보고서는 “연구자들은 충분히 발전된 AI 시스템이 스스로 꺼지지 않도록 행동할 것으로 기대한다”며 “AI 시스템이 꺼지면 목표를 달성하기 위해 작동할 수 없기 때문”이라고 말했습니다.
