최근 인공지능(AI) 기술의 발전 속도가 기하급수적으로 빨라지면서, 잠재적인 사이버 보안 위험에 대한 우려도 함께 커지고 있습니다.

이러한 가운데 미국 국립표준기술연구소(NIST) 산하 AI 표준 및 혁신 센터(CAISI)가 구글, 마이크로소프트 등 주요 빅테크 기업들의 차세대 AI 모델에 대해 출시 전 선제적인 보안 위험 평가를 실시하겠다고 발표했습니다.

이는 미국 정부가 강력한 AI 시스템의 보안 위협에 선제적으로 대응하려는 가장 의미 있는 시도로 평가됩니다.

AI 발전과 보안 위협의 동시 증가

AI 기술은 놀라운 속도로 발전하며 우리 삶의 다양한 영역에 영향을 미치고 있습니다.

하지만 이와 동시에 AI 모델의 복잡성과 성능 향상은 새로운 보안 취약점을 야기할 수 있다는 경고의 목소리도 높아지고 있습니다.

특히, 챗GPT의 등장 이후 다양한 분야에서 AI 모델의 활용이 급증하면서, 이러한 모델들이 악용될 경우 발생할 수 있는 사이버 공격의 파급력 또한 무시할 수 없게 되었습니다.

앤트로픽(Anthropic)의 최신 모델인 클로드 미토스(Claude Mythos)가 심각한 소프트웨어 취약점을 발견하는 능력이 뛰어나 공개 자체가 위험하다는 발표는 이러한 우려를 더욱 증폭시켰습니다.

NIST, 빅테크 AI 모델 사전 평가 계획 발표

NIST의 CAISI는 이번 계획을 통해 구글, 마이크로소프트, 그리고 일론 머스크가 설립한 xAI 등 주요 기업들이 개발 중인 최첨단 AI 모델들을 실제 출시 전에 면밀히 검토할 예정입니다.

이는 AI 모델의 고급 기능이 잠재적으로 야기할 수 있는 사이버 보안 위험을 사전에 파악하고 예방하기 위한 노력의 일환입니다.

CAISI 소장인 크리스 폴(Chris Fall)은 “독립적이고 엄격한 측정 과학은 최첨단 AI와 국가 안보에 미치는 영향을 이해하는 데 필수적”이라며, “이러한 산업 협력 확대는 중요한 시점에서 공공의 이익을 위한 우리의 노력을 확장하는 데 도움이 될 것”이라고 강조했습니다.

이번 협력은 정부와 기술 기업 간의 정보 교환을 촉진하고, 자발적인 제품 개선을 유도하며, 정부가 AI 모델의 역량을 명확하게 이해하도록 돕는 것을 목표로 합니다.

정부 기관 간 협력 및 평가 방식

CAISI 내의 범정부 태스크포스는 정부 전반의 관계자들이 기밀 환경을 포함한 다양한 조건에서 AI 모델을 테스트할 수 있도록 지원할 것입니다.

이는 정부 차원에서 AI 보안에 대한 종합적인 접근 방식을 구축하겠다는 의지를 보여줍니다.

마이크로소프트의 최고 책임 AI 책임자인 나타샤 크램프턴(Natasha Crampton)은 링크드인 게시물을 통해 “기술 기업만으로는 국가 안보 및 공공 안전과 관련된 평가를 수행할 수 없다”며, “이에는 깊은 기술 및 보안 전문성을 갖춘 산업과 정부 간의 긴밀한 협력이 필요하다”고 언급했습니다.

또한, 그녀는 마이크로소프트가 이번 평가를 통해 얻은 교훈을 AI 설계, 테스트 및 배포 방식에 직접 적용하고, AI 테스트를 더욱 강화하기 위한 모범 사례를 공유할 것이라고 덧붙였습니다.

정책 변화와 향후 과제

이번 NIST의 움직임은 이전 트럼프 행정부가 과도한 부담을 이유로 AI 보안 검토 조치를 철폐했던 것과는 상반되는 행보입니다.

백악관은 앤트로픽의 사례 이후 AI에 대한 비개입적 접근 방식을 재고하기 시작했으며, 이번 CAISI의 자발적 평가 외에도 모든 신규 AI 모델에 대한 의무적인 정부 검토 도입을 검토 중인 것으로 알려졌습니다.

하지만 CAISI가 사용할 구체적인 평가 기준이 아직 명확하지 않다는 점은 향후 과제로 남습니다.

전 백악관 국가 사이버 담당 국장실의 사이버 정책 및 전략 구현 책임자를 역임했던 데빈 린치(Devin Lynch)는 “역량 평가는 그것을 뒷받침하는 위협 모델만큼만 유효하다”며, “CAISI는 누구와 테스트하는지가 아니라, 무엇을 테스트하고 있는지 정의하고 공개해야 할 것”이라고 지적했습니다.

이는 AI 모델의 성능 평가뿐만 아니라, 실제 위협 시나리오에 기반한 포괄적인 보안 평가가 이루어져야 함을 시사합니다.

AI 보안, 이제는 선택이 아닌 필수

NIST의 이번 발표는 AI 기술의 급격한 발전 속도에 발맞춰 정부가 선제적으로 보안 위협에 대응하려는 중요한 전환점을 의미합니다.

빅테크 기업과의 협력을 통해 AI 모델의 잠재적 위험을 사전에 식별하고 완화하려는 노력은 앞으로 더욱 강화될 것으로 보입니다.

이는 곧 AI 기술의 안전하고 신뢰할 수 있는 발전을 도모하고, 급변하는 사이버 위협 환경에 대비하는 데 필수적인 요소가 될 것입니다.

우리 역시 AI 기술의 혜택을 누리는 동시에, 그 이면에 숨겨진 위험에 대한 경각심을 늦추지 않아야 할 것입니다.

자주 묻는 질문 (FAQ)

Q: NIST의 AI 모델 사전 평가는 모든 AI 모델에 적용되나요?

A: 현재 발표된 계획은 구글, 마이크로소프트, xAI 등 주요 빅테크 기업들의 최첨단(frontier) AI 모델을 대상으로 하며, 모든 AI 모델에 대한 의무적 적용 여부는 추가 검토 중입니다.

Q: NIST의 AI 모델 평가 기준은 무엇인가요?

A: 구체적인 평가 기준은 아직 명확히 공개되지 않았습니다.

향후 NIST는 무엇을, 어떻게 테스트할 것인지에 대한 명확한 정의와 공개가 필요할 것으로 보입니다.

Q: 이번 NIST의 조치가 AI 보안에 미치는 영향은 무엇인가요?

A: 정부가 AI 모델의 출시 전 보안 위험을 선제적으로 평가함으로써, 잠재적인 사이버 위협을 조기에 식별하고 완화하여 AI 기술의 안전하고 신뢰할 수 있는 발전에 기여할 것으로 기대됩니다.

Q: 빅테크 기업들은 왜 NIST와의 협력이 필요한가요?

A: 빅테크 기업들은 자체적으로 국가 안보 및 공공 안전과 관련된 포괄적인 AI 보안 평가를 수행하는 데 한계가 있기 때문에, 정부의 전문성과 협력이 필수적이라고 보고 있습니다.