AI 코딩 도우미, 실력 향상 막을까?

최근 IT 업계에서 AI 기반 코딩 지원 도구가 빠르게 확산되면서 개발자들의 생산성 향상에 대한 기대감이 높아지고 있습니다.

실제로 많은 연구에서 AI가 특정 업무 처리 속도를 최대 80%까지 높일 수 있다는 결과가 나왔습니다.

하지만 이러한 생산성 증대가 개발자의 근본적인 역량 강화에는 오히려 방해가 될 수 있다는 우려의 목소리도 커지고 있습니다.

**AI 코딩 도구, 생산성 vs.

숙련도**

AI 활용이 증가함에 따라 개발자들이 맡은 업무에 덜 몰입하고 노력 투입을 줄이는 경향이 나타날 수 있다는 연구 결과도 있습니다.

이는 곧 AI에 ‘사고’를 위임하는 행위로 이어져, 장기적으로는 개발자가 업무를 통해 기술을 발전시키는 것을 저해하거나, 특히 코딩 분야에서는 자신이 구축하는 시스템에 대한 이해도를 낮출 수 있다는 가능성을 시사합니다.

이러한 질문은 AI 제품 설계, 기업의 AI 활용 정책 수립, 그리고 사회 전반의 회복탄력성 강화 등 광범위한 함의를 지닙니다.

Anthropic의 최신 연구는 이러한 잠재적 위험을 면밀히 분석하기 위해 실제 소프트웨어 개발자들을 대상으로 무작위 통제 시험(RCT)을 실시했습니다.

특히 AI 도구가 빠르게 표준화되고 있는 코딩 분야에 초점을 맞춘 이 연구는, 코딩 작업이 자동화되고 빨라질수록 오류를 감지하고, AI의 결과물을 지도하며, 궁극적으로 고위험 환경에 배포되는 AI에 대한 감독 역할을 수행할 인간의 능력이 더욱 중요해질 것이라는 아이러니한 상황을 조명합니다.

그렇다면 AI는 기술 개발과 효율성 증진이라는 두 마리 토끼를 잡게 해주는 도구일까요, 아니면 AI 지원을 통한 생산성 향상이 오히려 개발자의 기술 숙련도를 저해하는 것일까요?

실험 설계: AI와 함께, 혹은 홀로

이번 연구에서는 두 가지 핵심 질문을 다뤘습니다.

첫째, 소프트웨어 개발자들이 AI 지원을 받았을 때와 받지 않았을 때 새로운 기술(본 연구에서는 Python 라이브러리)을 얼마나 빨리 습득하는가?

둘째, AI 사용이 코드를 직접 작성하는 것보다 작성된 코드에 대한 이해도를 낮추는가?

연구진은 52명의 주니어 개발자를 대상으로 실험을 진행했습니다.

이들은 일주일에 한 번 이상 Python을 사용하고, AI 코딩 지원 도구에 익숙하지만, 연구에서 사용된 Python 라이브러리 ‘Trio’에는 익숙하지 않은 조건으로 모집되었습니다.

연구는 크게 세 부분으로 나뉘었습니다.

워밍업 단계, ‘Trio’ 라이브러리를 활용해 두 가지 기능을 코딩하는 메인 과제(비동기 프로그래밍 개념 이해를 요구하며, 이는 직무 환경에서 자주 학습되는 기술), 그리고 마지막으로 퀴즈 단계였습니다.

참가자들에게는 과제 수행 후 퀴즈가 있을 것이라고 안내했으나, 가능한 한 빠르게 작업을 완료하도록 독려했습니다.

코딩 과제는 셀프 가이드 튜토리얼을 통해 새로운 도구를 학습하는 실제 개발 환경을 모방하도록 설계되었습니다.

각 참가자에게는 문제 설명, 시작 코드, 그리고 해결에 필요한 ‘Trio’ 개념에 대한 간략한 설명이 제공되었습니다.

AI 활용 방식에 따른 숙련도 변화

연구 결과, AI 지원 그룹은 평균적으로 AI를 사용하지 않은 그룹보다 퀴즈 점수가 17% 낮게 나왔습니다.

이는 약 두 학점 수준의 차이에 해당합니다.

AI 지원 그룹의 평균 점수는 50%였던 반면, 수작업 코딩 그룹은 67%를 기록했습니다.

AI를 사용하면 작업을 약간 더 빨리 완료했지만, 이 속도 향상은 통계적으로 유의미한 수준에 도달하지 못했습니다.

더 중요한 것은, AI 지원을 사용한다고 해서 무조건 점수가 낮아지는 것은 아니라는 점입니다.

참가자들이 AI를 어떻게 활용했는지에 따라 정보 습득 정도가 달라졌습니다. AI 지원을 받으면서도 더 높은 숙련도를 보인 참가자들은 단순히 코드를 생성하는 것을 넘어, 후속 질문을 하거나, 설명을 요청하거나, 독립적으로 코딩하면서 개념적인 질문을 던지는 등 이해도를 높이는 방식으로 AI를 활용했습니다.

코드 이해도, AI 사용 시 저하 가능성

AI 지원 그룹은 평균 약 2분 더 빠르게 과제를 마쳤으나, 이는 통계적으로 유의미한 차이를 보이지 않았습니다.

하지만 테스트 점수에서는 유의미한 차이가 발견되었습니다. AI 그룹의 평균 점수는 50%였던 반면, 수작업 코딩 그룹은 67%로, 이는 거의 두 학점 차이에 해당합니다.

특히 디버깅 관련 질문에서 두 그룹 간 점수 격차가 가장 컸는데, 이는 AI가 코딩 능력 개발을 저해할 경우, 코드가 잘못되었을 때 이를 인지하고 그 원인을 파악하는 능력이 특히 우려되는 부분임을 시사합니다.

AI와의 상호작용 패턴 분석

연구진은 참가자들이 작업을 어떻게 완료했는지 이해하기 위해 질적 분석을 수행했습니다.

화면 녹화 영상을 수동으로 분석하여 질문 작성에 소요된 시간, 질문 유형, 발생한 오류, 그리고 실제로 코딩한 시간 등을 파악했습니다.

흥미롭게도 참가자들이 AI 지원 도구와 상호작용하는 데 상당히 많은 시간을 할애했다는 점이 밝혀졌습니다. 일부 참가자는 전체 시간의 30%에 달하는 11분 동안 최대 15개의 질문을 작성했습니다.

이는 AI 사용 그룹이 평균적으로 더 빨리 과제를 완료한 이유를 설명해주지만, 생산성 향상이 통계적으로 유의미하지 않았던 점은 반복적이거나 익숙한 작업에서 AI의 생산성 증가 효과가 더 클 것으로 예상된다는 점을 시사합니다.

AI를 사용하지 않은 그룹은 예상대로 더 많은 오류에 직면했습니다.

이는 구문 오류뿐만 아니라 ‘Trio’ 개념 관련 오류도 포함했는데, 후자는 평가에서 다루어진 주제와 직접적으로 연결되었습니다.

연구진은 이러한 오류를 스스로 해결하는 과정에서 AI를 사용하지 않은 그룹이 디버깅 기술을 더 향상시켰을 가능성이 높다고 추론했습니다.

학습 효과를 높이는 AI 활용법

참가자들의 AI 상호작용 방식을 그룹화한 결과, 다양한 결과로 이어지는 뚜렷한 패턴을 발견했습니다.

낮은 점수 그룹의 상호작용 패턴: 이 그룹은 AI에 대한 과도한 의존, 즉 코드 생성이나 디버깅을 전적으로 AI에 맡기는 경향을 보였습니다. 평균 퀴즈 점수는 40% 미만이었습니다. 이들은 독립적인 사고 능력이 부족하고 인지적 부하를 AI에게 전가하는 모습이 두드러졌습니다.
AI 위임 (n=4): 참가자들이 전적으로 AI를 사용하여 코드를 작성하고 과제를 완료했습니다. 이들은 가장 빠르게 과제를 완료했으며 오류 발생 빈도가 매우 낮았습니다.
점진적 AI 의존 (n=4): 처음에는 몇 가지 질문으로 시작했으나, 점차 모든 코드 작성을 AI에게 위임했습니다. 퀴즈 점수가 낮았던 주된 이유는 두 번째 과제에서 어떤 개념도 제대로 습득하지 못했기 때문입니다.
반복적 AI 디버깅 (n=4): AI를 사용하여 코드를 디버깅하거나 검증하는 데 의존했습니다. 더 많은 질문을 했지만, 자신의 이해도를 명확히 하기보다는 문제 해결을 AI에게 맡기는 경향이 강했습니다. 결과적으로 낮은 점수를 기록했으며 과제 완료 속도도 느렸습니다.
높은 점수 그룹의 상호작용 패턴: 평균 퀴즈 점수가 65% 이상인 행동 패턴을 보였습니다. 이들은 AI를 단순한 코드 생성 도구를 넘어 능동적으로 지식을 습득하는 과정의 일부로 활용했습니다. 예를 들어, AI에게 특정 코드 조각의 작동 원리를 설명해달라고 요청하거나, 더 나아가 이 코드가 어떤 개념적 원리를 기반으로 하는지에 대한 심층적인 질문을 던지는 방식입니다. 이러한 적극적인 참여는 AI가 제공하는 정보의 피상적인 이해를 넘어, 핵심 원리를 파악하고 장기 기억으로 전환하는 데 효과적이었습니다. 결론적으로, AI는 개발자의 숙련도 향상을 위한 강력한 도구가 될 수 있지만, 어떻게 활용하느냐에 따라 그 결과는 극명하게 달라질 수 있습니다. AI를 단순히 ‘답을 얻는 도구’로 사용하는 것을 넘어, ‘이해를 심화하는 도구’로 활용하는 것이 중요합니다.