인공지능(AI)이 업무 생산성을 혁신할 것이라는 기대감은 이제 익숙한 이야기가 되었습니다.

수많은 보고서와 예측은 AI가 기업의 효율성을 극대화하고 새로운 경제적 가치를 창출할 것이라고 장밋빛 전망을 내놓았습니다.

그러나 최근 포춘(Fortune)지에 보도된 한 실험 결과는 이러한 낙관론에 찬물을 끼얹으며, AI 도입에 대한 우리의 접근 방식에 근본적인 질문을 던지고 있습니다.

AI 생산성 신화에 균열이 가다: 포춘지 보도 핵심 분석

최근 Model Evaluation and Threat Research (METR)의 연구 결과는 AI가 소프트웨어 개발자의 생산성을 오히려 저해할 수 있음을 시사하며 큰 파장을 일으켰습니다.

이 연구는 AI가 효율성을 높일 것이라는 일반적인 기대를 정면으로 반박합니다.

실험에 참여한 16명의 숙련된 소프트웨어 개발자들은 AI 도구를 사용했을 때, 오히려 작업을 완료하는 데 평균 19% 더 많은 시간을 소요했습니다.

이는 개발자들이 AI가 작업 시간을 평균 24% 단축할 것이라고 예측했던 것과는 극명한 대조를 이룹니다.

연구는 평균 5년 경력의 소프트웨어 개발자들을 대상으로 진행되었습니다.

이들은 각자 진행 중인 프로젝트의 일부인 총 246개의 작업을 수행했습니다.

절반의 작업에는 Cursor Pro, Claude 3.5/3.7 Sonnet과 같은 AI 도구를 사용하도록 허용했고, 나머지 절반은 AI 도구 없이 독립적으로 작업을 수행했습니다.

개발자들은 AI 도구가 생산성을 높일 것이라 믿었지만, 결과는 예상과 달랐습니다.

마치 ‘토끼와 거북이’ 이야기처럼, AI를 사용하지 않은 ‘거북이’ 방식이 더 빨랐던 것입니다.

이는 AI가 무조건적인 효율성 증진을 가져다주리라는 지배적인 서사에 강력한 도전장을 내밀고 있습니다.

왜 AI는 개발자의 발목을 잡았나? 비효율의 원인 진단

그렇다면 AI는 왜 숙련된 개발자들의 생산성을 저해했을까요?

연구 저자인 Joel Becker와 Nate Rush는 몇 가지 핵심적인 원인을 지적합니다.

가장 큰 문제는 AI가 작업의 ‘맥락(Context)’을 이해하는 데 한계가 있었다는 점입니다.

경험 많은 개발자들은 이미 진행 중인 프로젝트에 대한 깊은 이해와 고유한 문제 해결 전략을 가지고 있습니다.

AI가 생성한 결과물은 이러한 맥락을 충분히 반영하지 못했고, 개발자들은 AI의 결과물을 자신들의 아젠다와 전략에 ‘끼워 맞추고(retrofit)’, 방대한 시간을 들여 ‘디버깅’해야 했습니다.

연구에 참여했던 Philipp Burckhardt는 자신의 경험을 블로그 게시물에 다음과 같이 남겼습니다.

“AI를 사용하는 동안 내 생산성이 저하되지 않았다고 믿고 싶지만, AI가 내가 기대했던 만큼 도움이 되지 않았거나 심지어 내 노력을 방해했을 가능성도 없지 않다.” 또한, 일부 개발자들은 챗봇에 정확한 프롬프트를 작성하거나 AI가 결과를 생성하기를 기다리는 데 시간을 허비하기도 했습니다.

이러한 비효율적인 요소들이 모여, 결국 AI의 잠재적 이점을 상쇄하고 작업 시간을 늘리는 결과로 이어진 것입니다.

AI 만능론에 제동을 걸다: 과대평가된 생산성 향상론

이 연구 결과는 AI가 경제와 노동력을 혁신할 것이라는 거창한 약속들에 대해 다시 한번 생각하게 합니다.

2035년까지 미국 GDP를 15% 성장시키고 궁극적으로 생산성을 25% 높일 것이라는 예측들은 현실과 거리가 멀다는 지적입니다.

실제 기업들의 AI 투자 수익률(ROI)도 기대에 미치지 못하는 경우가 많습니다.

MIT의 작년 8월 보고서에 따르면, 300건의 AI 배포 사례 중 단 5%만이 빠른 매출 성장을 달성했으며, 하버드 비즈니스 리뷰 분석 서비스 보고서에서는 단 6%의 기업만이 AI가 핵심 비즈니스 프로세스를 운영하는 것을 완전히 신뢰한다고 밝혔습니다.

물론, 연구 저자들은 이 연구 결과를 AI의 미래에 대한 단정적인 주장으로 확대 해석하는 것을 경계합니다.

표본 크기가 작고, AI 도구가 익숙하지 않은 특정 그룹을 대상으로 했으며, 특정 시점의 기술을 측정했다는 한계점도 분명합니다.

그럼에도 불구하고, 이 연구의 목적은 AI의 성급한 도입에 ‘경고등을 켜는 것’에 있습니다.

AI의 실제 효과에 대한 더 많은 데이터가 알려지고 접근 가능해지기 전에는, AI 적용에 대한 중대한 결정을 내리는 것을 신중히 해야 한다는 메시지입니다.

Nate Rush는 “현재 이러한 시스템의 개발 및 배포에 대해 내리는 일부 결정은 잠재적으로 매우 큰 결과를 초래할 수 있다”며, “단순히 명백한 답을 따르지 말고, 고품질의 측정을 해야 한다”고 강조했습니다.

전문가의 시선: 숙련된 인력과 AI의 복잡한 관계

경제학자들 또한 METR의 연구가 AI와 생산성에 대한 광범위한 논의와 궤를 같이 한다고 분석합니다.

링크드인의 최고 경제 기회 책임자(Chief Economic Opportunity Officer) Aneesh Raman은 AI가 진입 장벽이 낮은(entry-level) 직무를 대체하기 시작하고 있지만, 경험 많은 소프트웨어 개발자와 같은 숙련된 인력에게는 수확 체감(diminishing returns)을 가져올 수 있다고 말합니다.

시카고 대학 부스 경영대학원의 경제학 교수 Anders Humlum은 AI가 숙련된 작업자의 주요 업무에 강제로 적용될 필요는 없다고 주장합니다.

이미 5년, 20년의 경험을 가진 사람들이 기존 방식만으로도 잘 기능하고 있다면, 굳이 AI 도구 사용을 강요할 필요가 없다는 것입니다.

Humlum 교수는 덴마크의 7천 개 직장, 2만 5천 명의 근로자를 대상으로 한 연구에서, AI 도구를 사용하는 직원들의 생산성이 겨우 3% 향상되었다는 점을 밝혀냈습니다.

이는 MIT 경제학자이자 노벨상 수상자인 Daron Acemoglu 교수의 주장, 즉 시장이 AI로부터의 생산성 향상을 과대평가하고 있다는 견해와 일치합니다.

Acemoglu 교수는 미국 경제 내에서 단 4.6%의 작업만이 AI로 인해 효율성이 높아질 것이라고 주장합니다.

그는 “모든 것을 자동화하려는 성급함 속에서, 심지어 자동화되어서는 안 되는 프로세스까지 포함하면, 기업들은 시간과 에너지를 낭비하고 약속된 생산성 이점을 전혀 얻지 못할 것”이라고 경고합니다.

생산성 향상은 기술 도입만으로 이루어지는 것이 아니라, 조직적 조정, 보완적 투자, 그리고 훈련과 현장 학습을 통한 근로자 기술 향상을 수반해야 한다는 것이 전문가들의 일관된 의견입니다.

AI 도입, 현명한 접근을 위한 실질적 조언

소프트웨어 개발자들의 생산성 저하 사례는 AI 도구를 언제, 어떻게 구현할지에 대한 비판적인 사고의 필요성을 분명히 보여줍니다.

그동안 AI 생산성에 대한 연구는 자기 보고식 데이터나 특정하고 제한적인 작업에 초점을 맞추었지만, 숙련된 작업자들이 기술을 사용할 때 직면하는 실제 어려움에 대한 데이터는 훨씬 복잡한 그림을 제시합니다.

Anders Humlum 교수는 “실제 세계에서 많은 작업은 ChatGPT에 단순히 입력하는 것만큼 쉽지 않다”고 말합니다.

그는 “많은 전문가들이 축적한 경험은 매우 유익하며, 우리는 그 귀중한 전문성을 무시하고 포기해서는 안 된다”고 강조합니다.

따라서 우리는 AI 도구 사용에 대해 매우 신중한 접근을 해야 합니다.

이는 AI를 무조건적으로 거부하라는 의미가 아닙니다.

오히려 AI의 강점과 약점을 정확히 이해하고, 인간의 전문성과 시너지를 낼 수 있는 지점을 찾아야 한다는 것입니다.

  • AI 도입 전, 실제 업무 환경에서 파일럿 테스트를 통해 예상치 못한 비효율성 요소를 사전에 파악해야 합니다.
  • AI가 제공하는 결과물을 맹목적으로 신뢰하기보다, 인간 전문가의 검토와 수정 과정을 필수적으로 포함해야 합니다.
  • AI가 단순 반복 작업을 자동화하여 인간이 더 창의적이고 복잡한 문제 해결에 집중할 수 있도록 지원하는 보완재로서의 역할에 초점을 맞춰야 합니다.
  • AI 사용에 대한 충분한 교육과 훈련을 통해, 개발자들이 AI 도구를 효과적으로 활용하고 잠재적인 함정을 피할 수 있도록 지원해야 합니다.
  • AI의 한계를 명확히 인식하고, 인간의 맥락 이해 능력과 비판적 사고가 필수적인 영역에는 신중하게 접근해야 합니다.

결론: 데이터 기반의 신중한 AI 통합이 필요한 시점

AI가 가져올 미래에 대한 기대는 여전히 유효하지만, 맹목적인 낙관론은 경계해야 할 때입니다.

특히 숙련된 전문가들의 영역에서 AI를 통합할 때는 데이터에 기반한 신중한 접근이 필수적입니다.

단순히 AI 도구를 도입하는 것을 넘어, 조직 문화, 워크플로우, 그리고 인력의 역량 강화 등 다각적인 측면에서 변화를 모색해야 합니다.

인간의 전문성을 존중하고 AI를 현명하게 활용하는 방법을 찾는 것이야말로, 진정한 생산성 향상과 지속 가능한 발전을 위한 핵심 열쇠가 될 것입니다.

이 연구는 우리에게 AI 도입의 본질적인 목적과 과정에 대해 깊이 있는 성찰을 요구합니다.

— 출처 —
https://fortune.com/article/does-ai-increase-workplace-productivity-experiment-software-developers-task-took-longer/