생성AI 비용 비상등: 한국 기업, 효율 전환 시급하다

전문가 통찰 및 한줄평 (Insight)

생성AI 도입 열풍 속에서 비용 효율성은 이제 선택이 아닌 필수가 되고 있다.

국내 기업들도 무분별한 토큰 지출을 재고하고, 장기적인 관점에서 AI 전략을 재정비해야 할 시점이다.

최근 몇 년간 생성AI는 비즈니스 환경에 혁명적인 변화를 가져왔습니다.

특히 2022년 ChatGPT 등장 이후, 기업들은 고객 지원, 마케팅, 재무 등 다양한 영역에서 AI 기술을 도입하며 생산성 향상에 대한 기대를 키웠습니다.

그러나 이러한 열풍의 이면에는 예상치 못한 AI 비용의 급증이라는 현실적인 문제가 도사리고 있습니다.

‘묻지마 투자’ 시대는 끝나고, 이제는 효율성에 집중할 때입니다.

핵심 이슈 및 배경

CNBC 보도에 따르면, 글로벌 AI 시장의 선두 주자인 OpenAI와 Anthropic이 성장 둔화라는 새로운 현실에 직면할 수 있다는 분석이 제기되었습니다.

가장 큰 이유는 기업 고객들이 ‘통제 불능’ 수준으로 치솟는 AI 토큰 지출을 제한하기 시작했기 때문입니다.

AI 스타트업 Lindy의 CEO인 Flo Crivello는 Anthropic의 Claude 모델 사용을 중단하고 더 저렴한 오픈웨이트(open-weight) 대안인 DeepSeek으로 전환하여 수개월 내 수백만 달러를 절약할 것이라고 밝혔습니다.

이는 비즈니스 생존을 위한 필수적인 선택이었다고 강조합니다.

그동안 개발자들은 AI 모델이 처리하고 생성하는 데이터 단위인 ‘토큰’을 대량으로 소비하며 새로운 도구와 서비스를 개발하는 데 집중했습니다.

이른바 ‘토큰맥싱(tokenmaxxing)’ 시대로 불리며, 결과에 대한 우려 없이 최대한 AI를 많이 활용하도록 장려하는 분위기였습니다.

하지만 Uber가 AI 도구에 대한 월별 지출 한도를 설정하고, 연간 AI 예산을 불과 4개월 만에 소진했다는 사례는 이러한 지출 방식이 지속 불가능하다는 명확한 신호를 보냅니다.

OpenAI와 Anthropic이 역대급 IPO를 준비하는 현시점에서, 기업들의 AI 투자 심리가 ‘묻지마 지출’에서 ‘투자수익률(ROI) 증명’으로 전환되고 있다는 점은 주목할 만합니다.

상세 비교 분석

AI 비용 효율성 요구가 높아지면서, 시장에서는 다양한 대안들이 부상하고 있습니다.

특히 오픈소스 모델과 효율성에 초점을 맞춘 빅테크의 AI 서비스가 주목받고 있습니다.

아래 표는 현재 시장에서 경쟁하고 있는 주요 AI 모델들의 특징을 비용 효율성 관점에서 비교한 것입니다.


특징 \ 모델	OpenAI (ChatGPT)	Anthropic (Claude)	DeepSeek (오픈소스)	Microsoft (Phi-3 등)	국내 LLM (예: HyperCLOVA X)
모델 종류	클로즈드 소스	클로즈드 소스	오픈소스 (오픈웨이트)	클로즈드 소스	클로즈드 소스 (일부 API 개방)
비용 모델	API 기반 토큰 과금 (고가)	API 기반 토큰 과금 (고가)	무료/저렴한 온프레미스 배포 가능	API 기반 토큰 과금 (효율성 강조)	API 기반 토큰 과금 (맞춤형)
주요 강점	범용성, 최강 성능, 다양한 API	긴 컨텍스트, 안전성, 윤리성	비용 효율성, 커스터마이징 용이	클라우드 통합, 특정 태스크 최적화	한국어 특화, 국내 데이터 활용
주요 약점	높은 비용, 사유 데이터 보안	높은 비용, 제한적 접근성	최신 성능 미흡, 인프라 구축 필요	특정 태스크에 한정, 종속성	글로벌 경쟁력, 비용 구조
최근 동향	기업용 분석 및 제어 기능 강화	사용량 및 지출 제한 기능 도입	기업들의 도입 증가	저비용 경량 모델 출시	국내 시장 공략 및 특화

이 표에서 볼 수 있듯이, OpenAI와 Anthropic은 여전히 강력한 성능을 자랑하지만 높은 비용이 부담으로 작용하고 있습니다.

반면 DeepSeek과 같은 오픈소스 모델은 비용 효율성 면에서 큰 강점을 가지며, Microsoft는 경량 모델을 통해 특정 태스크에 최적화된 저비용 솔루션을 제공하며 시장을 공략하고 있습니다.

국내 LLM 역시 한국어 특화 강점을 내세우고 있으나, 글로벌 경쟁과 비용 효율성 측면에서 지속적인 발전이 필요합니다.

시장 파급 효과 및 전망

AI 지출 합리화는 글로벌 AI 시장에 광범위한 파급 효과를 미칠 것으로 예상됩니다.

우선, ‘프론티어 모델(frontier models)’이라 불리는 최첨단 대규모 모델의 무분별한 사용이 줄어들고, 각 태스크에 가장 적합한 모델을 찾아 사용하는 ‘모델 라우팅(model routing)’ 기법이 빠르게 확산될 것입니다.

Glean의 CEO Arvind Jain에 따르면, 현재 기업 AI 사용의 약 95%가 프론티어 모델에 의존하고 있지만, 이는 장기적으로 지속 불가능하다고 분석됩니다.

이러한 변화는 AI 모델 개발사들의 경쟁 구도를 변화시킬 것입니다.

단순히 ‘최고 성능’만을 외치던 시대를 넘어, ‘최적의 성능 대비 비용 효율성’이 중요한 경쟁 우위로 작용할 것입니다.

Microsoft, Amazon, Google과 같은 빅테크 기업들은 이미 이러한 흐름에 발맞춰 저비용, 고효율 모델을 출시하며 시장의 지형을 바꾸고 있습니다.

D.A.

Davidson의 애널리스트 Gil Luria는 현재 AI 시장의 가격 책정이 아직 ‘미숙한(unsophisticated)’ 단계에 있지만, 기업들의 예산 의식이 높아지면서 OpenAI와 Anthropic 역시 이러한 변화에 적응해야 할 것이라고 강조했습니다.

한국 시장에서의 시사점

국내 IT 업계와 기업들도 이러한 글로벌 트렌드에 기민하게 대응해야 합니다.

필자가 만난 국내 스타트업 CEO 중에는 AI 도입 초기, 비용 통제가 어려워 애를 먹었던 사례가 적지 않습니다.

특히 AI-assisted coding 등 개발 생산성 향상을 위해 LLM을 적극 활용하던 기업들은 급증하는 API 비용에 놀라기도 합니다.

국내 기업의 비용 효율성 전략 강화: 네이버의 HyperCLOVA X나 카카오의 KoGPT와 같은 국내 LLM들은 한국어 특화라는 강점을 가지고 있습니다. 그러나 글로벌 모델과의 경쟁에서 비용 효율성을 어떻게 확보하고, 기업 고객들에게 합리적인 가격 모델을 제시할지가 중요한 과제입니다. 국내 기업들은 자사 서비스의 특성을 고려하여 온프레미스(On-premise) 또는 하이브리드 클라우드 환경에서 오픈소스 모델을 활용하거나, 경량 모델(Small Language Models, SLM)을 적극 도입하여 비용을 절감하는 전략을 모색해야 합니다. 관련 기술 트렌드 더 보기
한국 직장인/개발자의 역량 강화: AI 도입이 보편화되면서 개발자들은 단순히 AI 모델을 호출하는 것을 넘어, 모델 라우팅, 프롬프트 엔지니어링 최적화, 경량 모델 학습 등 AI 비용을 효율적으로 관리하고 최적의 성능을 끌어내는 역량을 갖춰야 합니다. 또한, 각 기업의 비즈니스 목표와 예산에 맞춰 어떤 AI 모델을 도입하고 어떻게 활용할지 결정하는 AI 전략 기획 능력도 중요해질 것입니다.
정부 및 투자 업계의 역할: 정부는 국내 기업들이 AI 비용 부담 없이 기술 혁신을 이어갈 수 있도록 오픈소스 AI 생태계 구축 지원 및 AI 인프라 투자 지원을 확대해야 합니다. 투자 업계는 단순히 기술력만을 보는 것을 넘어, AI 모델의 비즈니스 확장성과 비용 효율성을 동시에 평가하는 안목을 길러야 합니다. 무분별한 AI 투기보다는 실질적인 가치를 창출하는 기업에 대한 선별적 투자가 이루어져야 할 때입니다.