캘리포니아 정부, 고위험 AI 사용 시인

“

캘리포니아 정부가 지난해 ‘0건’ 사용했다고 보고했던 고위험 AI 시스템을 올해 6건 사용 중이라고 시인했다. 이는 정부의 AI 투명성 부족과 기술 관리 문제를 드러내며, 국내 공공 부문의 AI 도입 및 책임감 있는 관리에 대한 성찰을 요구한다.

”

전문가 통찰 및 한줄평 (Insight):

캘리포니아주의 이번 고위험 AI 사용 시인은 정부의 투명성 부족 문제를 드러내는 한편, AI 기술의 책임감 있는 도입에 대한 사회적 요구가 더욱 커지고 있음을 시사한다.

이는 국내 지방정부 및 공공기관에도 시사하는 바가 크다.

캘리포니아 정부가 연례 보고를 통해 ‘고위험 자동화 의사결정 시스템’ 사용 현황을 공개하면서, 지난해 ‘0건’ 사용했다고 밝혔던 것과 달리 올해는 총 6건의 시스템을 운영 중이라고 시인했다.

이는 정부의 AI 기술 도입 및 관리, 그리고 투명성 확보에 대한 근본적인 문제를 제기한다.

고위험 AI, 왜 논란인가?

지난해 캘리포니아주 법률에 따라 주정부 기관들은 사람의 삶에 중대한 영향을 미치는 의사결정에 사용되는 ‘고위험 자동화 의사결정 시스템’에 대해 매년 보고해야 한다.

이 법은 시민단체들이 AI와 유사한 시스템에서 발생할 수 있는 편향성, 차별, 개인정보 침해 등의 위험을 우려하여 추진되었다.

특히, 고위험 시스템은 주거, 교육, 고용, 의료, 형사사법 등 민감한 분야에서의 결정에 영향을 미칠 수 있어 더욱 엄격한 관리가 요구된다.

그런데 캘리포니아 정부는 지난해 이러한 시스템을 전혀 사용하지 않는다고 보고했다.

이는 당시에도 법률의 취지에 위배되는 ‘충격적인 답변’이라는 비판을 받았으며, 실제로는 교정부의 재범 예측 소프트웨어, 노동부의 실업 수당 부정 방지 시스템 등 명백히 고위험 시스템으로 간주될 수 있는 사례들이 존재했기 때문이다.

이번 보고서 발표는 이러한 의혹을 일정 부분 해소하는 동시에, 정부의 자체적인 시스템 파악 및 보고 능력에 대한 의문을 증폭시킨다.

캘리포니아 정부, 현재 운영 중인 6가지 고위험 AI 시스템

이번에 공개된 보고서에 따르면, 캘리포니아 정부는 현재 다음과 같은 6가지의 고위험 자동화 시스템을 운영하고 있다.

이 시스템들은 이미 수년간 사용되어 온 경우도 포함된다.

재범 예측 시스템: 수감자의 출소 후 재범 가능성을 예측하여 관리 및 석방 결정에 활용
실업 수당 부정 적발 시스템: 실업 수당 신청 건의 사기 여부를 평가
온라인 시험 감독 시스템: 캘리포니아 주립대학교(CSU) 학생들의 온라인 시험 부정행위 감지
표절 탐지 시스템: 대학생들의 과제물 작성 시 생성형 AI 사용 여부 탐지

이 외에도 형사 사법 시스템에서 재범 위험을 평가하거나, 고용 관련 결정을 자동화하는 시스템 등이 포함될 수 있다.

캘리포니아 교정부는 이미 10년 이상 COMPAS와 같은 재범 예측 도구를 사용하여 수감자의 재범 점수를 산정해 왔다.

이는 지난해 보고서가 현실을 제대로 반영하지 못했음을 방증하는 결과다.

왜 이제 와서 시인했나? 시스템 파악 방식의 변화

기술부 보고서는 올해 더 많은 고위험 시스템이 적발된 이유를 주정부 기관들의 시스템에 대한 평가를 더욱 철저히 진행했기 때문이라고 설명한다.

단순히 제출된 답변을 검토하는 것을 넘어, 직접 기관들과 만나고 시스템에 대해 질문하는 과정을 거쳤다는 것이다.

이러한 노력 덕분에 지난해에는 인지하지 못했던 고위험 시스템들을 추가로 파악할 수 있었다.

보고서에는 6가지 고위험 시스템 외에도, 처음에는 고위험으로 분류되었다가 최종적으로는 해당되지 않는다고 판단된 6가지 시스템과, 현재는 사용되지 않지만 고위험으로 분류된 2가지 시스템에 대한 내용도 포함되었다.

예를 들어, 재무부의 입법 분석 AI는 고위험이 아닌 것으로, 캘리포니아 주립대학교에서 채용 서류 검토에 사용하려던 언어 모델은 사용이 중단되었다.

AI 사용에 대한 주민들의 불안감과 정부 정책의 딜레마

캘리포니아는 OpenAI, Anthropic과 같은 선도적인 AI 기업들의 본거지임에도 불구하고, 주민들의 AI에 대한 신뢰도는 높지 않다.

TechEquity와 Carnegie California의 조사에 따르면, 대다수의 캘리포니아 주민들은 혁신보다는 안전을 우선시하는 것으로 나타났다.

이는 AI 기술 발전의 속도와 그 잠재적 위험 사이에서 정부가 균형을 잡아야 하는 어려움을 보여준다.

실제로, 주 정부 직원이 자동화된 의사결정 시스템만을 기준으로 결정을 내리는 것을 금지하려던 상원 법안 1248호는 최근 주의회에서 부결되기도 했다.

이는 AI 기술의 무분별한 도입을 막으려는 움직임과, 기술 활용을 통한 효율성 증대를 추구하는 정부의 상반된 입장을 보여준다.

비교 분석: 캘리포니아 외 주요 국가 및 도시의 AI 규제 현황

국가/도시	AI 관련 법안/정책	주요 내용
캘리포니아 (주)	2023년 고위험 자동화 시스템 보고법	정부 운영 고위험 AI 시스템 연례 보고 의무화, 시스템 정의: 법적 또는 중대한 영향을 미치는 결정 보조/대체
미국 (연방)	AI 행정명령 (2023년)	안전, 보안, 신뢰성 있는 AI 개발 및 사용 촉진, 표준 설정, 위험 관리 등 포괄적 가이드라인
유럽연합 (EU)	AI Act (2024년 발효 예정)	위험 기반 접근 방식, 고위험 AI 시스템에 대한 엄격한 규제, 금지된 AI 활용 사례 명시 (예: 사회적 신용 점수화)
뉴욕시	AI 채용 차별 금지 조례	자동화된 채용 시스템 사용 시 편향성 감사 의무화, 개인정보 보호 강화
샌프란시스코	AI 사용 가이드라인	시 정부 기관의 AI 사용 원칙 제시, 투명성, 책임성, 형평성 강조

캘리포니아주의 이번 조치는 EU의 AI Act와 같이 포괄적인 규제를 지향하는 흐름과 맥을 같이 하지만, 캘리포니아 자체적으로는 다소 늦은 감이 있다는 지적도 있다.

미국 연방 정부는 행정명령을 통해 AI 안전 및 신뢰성 확보에 나서고 있으며, 뉴욕시나 샌프란시스코와 같은 주요 도시들도 자체적인 AI 규제 움직임을 보이고 있다.

이는 AI 기술 발전 속도에 발맞춰 정부 차원의 책임 있는 관리 감독이 필수적임을 보여주는 사례들이다.

한국 시장에서의 시사점 및 대응 전략

캘리포니아 정부의 이번 발표는 국내 지방정부 및 공공기관의 AI 시스템 관리 현황에 대한 심각한 성찰을 요구한다.

네이버, 카카오 등 빅테크 기업뿐만 아니라, 정부 및 공공기관에서도 이미 다양한 AI 기술을 도입하여 행정 효율성을 높이고 있다.

하지만 이러한 시스템들이 ‘고위험’으로 분류될 수 있는지, 그리고 이에 대한 체계적인 관리 및 보고 시스템이 제대로 갖춰져 있는지에 대한 점검이 필요하다.

특히, 시민들의 일상생활과 직결된 민원 처리, 복지 서비스 제공, 채용, 교육 등 분야에서 AI 시스템을 활용할 경우, 편향성이나 오류로 인한 사회적 불평등 심화를 방지하기 위한 철저한 감사 및 투명성 확보가 필수적이다.

지금 당장 한국에서 활용하거나 대응할 수 있는 실질적인 전략은 다음과 같다.

AI 시스템 현황 전수 조사 및 위험 평가: 중앙 정부 및 각 지자체는 현재 운영 중인 모든 AI 및 자동화 시스템을 대상으로 ‘고위험’ 분류 기준에 따른 체계적인 전수 조사를 실시해야 한다. 잠재적 위험 요소를 사전에 평가하고 이를 공표하는 절차가 필요하다.
AI 윤리 가이드라인 강화 및 교육: 공공 부문 종사자를 대상으로 AI 윤리에 대한 교육을 강화하고, AI 시스템 개발 및 활용에 대한 명확한 가이드라인을 마련해야 한다. 또한, 개발된 AI 시스템에 대한 정기적인 편향성 감사(bias audit) 를 의무화하는 방안을 검토해야 한다.