기업들이 생성형 AI 도구를 도입하는 데 막대한 비용을 쏟아붓던 시기는 지났다.

이제 리더십의 질문은 ‘무엇을 도입했는가’가 아닌, ‘그래서 어떤 성과를 얻었는가’로 바뀌고 있다.

이러한 변화의 최전선에 뜻밖의 인물, 바로 ‘중간관리자’가 서게 되면서 조직의 AI 도입 전략이 근본적으로 재편되고 있다.

AI 도입, ‘투자’에서 ‘성과 측정’의 시대로

최근 몇 년간 수많은 기업이 ChatGPT, Copilot 등 다양한 생성형 AI 솔루션을 경쟁적으로 도입했다.

기술 경쟁에서 뒤처지지 않으려는 열망과 막연한 생산성 향상에 대한 기대감이 뒤섞인 결과였다.

그러나 대규모 투자 이후, 경영진은 이제 구체적인 투자수익률(ROI)을 요구하기 시작했다.

특히 최근 빅테크를 중심으로 이어진 감원 이후, 기업들은 ‘AI를 통해 더 적은 인력으로 더 많은 것을 이룰 수 있다’는 것을 증명해야 하는 강력한 압박에 직면했다.

이러한 배경 속에서 AI 도입은 더 이상 IT 부서만의 기술적 과제가 아닌, 전사적인 경영 과제로 격상되었다.

기업들은 직원들이 실제로 AI를 얼마나, 어떻게 사용하는지 측정하고, 이를 실질적인 효율성 증대로 연결하기 위한 방안을 모색하고 있다.

그리고 이 중책을 수행할 핵심 책임자로 현장의 팀을 이끄는 중간관리자를 지목한 것이다.

이는 AI 도입의 성공 여부가 기술 자체가 아니라, 조직 문화와 업무 프로세스에 얼마나 깊숙이 통합되느냐에 달려있음을 시사한다.

관리자의 새로운 무기: 데이터 기반 독려

중간관리자들은 직원들의 AI 활용을 촉진하기 위해 과거와는 다른 관리 도구를 손에 쥐게 되었다.

가장 대표적인 것이 바로 ‘AI 사용량 대시보드’다.

이 대시보드는 팀원 개개인이 얼마나 자주 AI 도구를 사용하고, 어떤 기능을 주로 활용하는지 등의 데이터를 시각적으로 보여준다.

관리자는 이 데이터를 통해 AI 활용도가 낮은 직원을 식별하고, 맞춤형으로 개입할 수 있다.

비즈니스 인사이더에 따르면, 디즈니(Disney)나 JP모건(JPMorgan)과 같은 대기업들은 이미 개인 또는 팀 단위의 AI 사용량을 추적하고 있다.

관리자들은 단순히 사용량이 적은 직원을 지적하는 데 그치지 않는다.

다음과 같은 구체적인 전략을 병행하며 도입을 유도한다.

  • 구체적인 활용 사례 전파: “이번 주 보고서 초안은 AI로 작성해보세요” 또는 “이런 데이터 분석은 AI 프롬프트로 10분 만에 끝낼 수 있습니다”와 같이 실제 업무와 관련된 구체적이고 실용적인 아이디어를 제공한다.
  • 플레이북 및 템플릿 공유: 비기술 직군 직원들이 AI를 쉽게 시작할 수 있도록, 검증된 프롬프트 예시나 업무별 템플릿을 담은 ‘플레이북’을 제작하여 배포한다.
  • 동료 주도 데모 세션: AI를 성공적으로 활용하고 있는 동료가 직접 자신의 노하우를 공유하는 세션을 마련하여 심리적 장벽을 낮춘다.

이처럼 관리자의 역할은 단순한 감시자를 넘어, 팀원들이 AI와 원활하게 협업할 수 있도록 돕는 ‘AI 코치’ 또는 ‘내부 에반젤리스트’로 진화하고 있다.

가속화된 도입의 이면: 그림자 IT와 거버넌스

관리자 주도의 강력한 도입 드라이브는 표면적인 사용률을 빠르게 끌어올리는 효과가 있다.

하지만 이 과정에서 새로운 문제들이 수면 위로 떠오르고 있다.

바로 거버넌스와 관련된 부작용이다.

첫째, ‘측정을 위한 사용’이 만연할 수 있다.

AI 사용량이 성과 평가와 연동될 수 있다는 압박감에 직원들은 실질적인 가치를 창출하지 않더라도 대시보드의 숫자를 채우기 위해 의미 없는 프롬프트를 반복할 수 있다.

이는 측정 가능한 행동에만 치중하게 만들어, 정작 중요하지만 측정하기 어려운 고부가가치 활동을 저해하는 결과를 낳을 수 있다.

둘째, ‘프롬프트 위생(Prompt Hygiene)’ 문제다.

모든 직원이 AI를 효과적으로 다루는 방법을 아는 것은 아니다.

일관성 없는 질문이나 잘못된 맥락의 프롬프트는 부정확하거나 편향된 결과물을 생성하여 오히려 업무 효율을 떨어뜨릴 수 있다.

중앙화된 가이드라인이나 교육 없이는 AI 활용 능력의 격차가 곧 업무 성과의 격차로 이어질 것이다.

셋째, ‘섀도우 IT(Shadow IT)’의 확산이다.

회사가 제공하는 공식 AI 툴이 불편하거나 성능이 떨어진다고 느낄 경우, 직원들은 보안에 취약할 수 있는 외부의 검증되지 않은 AI 서비스를 임의로 사용하게 될 가능성이 크다.

이는 기업의 민감한 데이터 유출과 같은 심각한 보안 사고로 이어질 수 있는 위험 요소다.

성공적인 AI 전환을 위한 체크리스트

그렇다면 조직은 어떻게 이러한 부작용을 최소화하고 성공적으로 AI를 내재화할 수 있을까?

관리자와 기업이 주목해야 할 몇 가지 핵심 지표와 전략이 있다.

우리 조직이 올바른 방향으로 가고 있는지 아래 항목들을 통해 점검해볼 수 있다.

  • 내부 KPI 공개 여부: 회사가 AI 사용과 관련된 핵심 성과 지표(KPI)를 투명하게 공개하고 있는가? 목표가 명확해야 구성원들이 방향성을 이해할 수 있다.
  • 성과 평가 연동 방식: AI 사용 대시보드가 OKR(Objectives and Key Results)이나 성과 평가와 직접적으로 연동되는가? 만약 그렇다면, 단순 사용량을 넘어 성과 기여도를 측정하는 방식으로 설계되었는지 확인해야 한다.
  • 중앙화된 가이드라인 존재: 회사가 공식적으로 승인한 AI 모델 리스트, 업무별 우수 프롬프트 라이브러리, 보안 가이드라인 등 중앙에서 관리하는 ‘가드레일’이 마련되어 있는가?
  • 성공 사례의 구체성: 회사가 주장하는 ‘AI 기반 생산성 향상’이 재현 가능한 구체적인 수치나 명확한 케이스 스터디로 뒷받침되고 있는가? 막연한 구호가 아닌, 데이터 기반의 증거가 필요하다.

AI 도입의 성패는 더 이상 기술의 문제가 아니다.

조직이 얼마나 체계적으로 변화를 관리하고, 구성원들이 새로운 도구를 통해 실질적인 가치를 만들어낼 수 있도록 지원하느냐에 달려있다.

관리자의 역할이 감시와 독려를 넘어, 전략적 코칭과 거버넌스 확립으로 확장되어야 하는 이유가 바로 여기에 있다.

출처: https://letsdatascience.com/news/managers-drive-employee-adoption-of-ai-tools-babf1106

자주 묻는 질문 (FAQ)

Q: 왜 기업들은 직원의 AI 툴 사용량을 추적하나요?

A: 막대한 AI 투자에 대한 구체적인 ROI를 측정하고, 해당 기술이 실질적인 생산성 향상으로 이어지는지 검증하기 위함입니다.

특히 인력 감축 이후, AI를 통한 효율성 증대를 입증해야 하는 경영진의 압박이 주요 원인으로 작용하고 있습니다.

Q: 관리자 주도 AI 도입의 가장 큰 문제점은 무엇인가요?

A: 직원들이 실질적인 업무 개선보다 관리자의 눈치를 보며 사용량 수치를 채우는 데 급급해지는 ‘표면적 도입’에 그칠 위험이 있습니다.

또한, 검증되지 않은 외부 AI 툴을 무분별하게 사용하는 ‘섀도우 IT’ 문제나 일관성 없는 프롬프트 사용으로 인한 품질 저하 등 거버넌스 문제가 발생할 수 있습니다.

Q: AI를 잘 사용하지 않는 직원은 성과 평가에서 불이익을 받게 될까요?

A: 직접적인 불이익보다는 AI 활용 능력이 성과 리뷰나 OKR의 일부로 포함될 가능성이 높습니다.

사용량이 저조할 경우, 관리자로부터 사용을 독려받거나 관련 교육을 권유받는 등 간접적인 압박을 받을 수 있으며, 장기적으로는 핵심 역량 평가에 영향을 미칠 수 있습니다.