AI 비용 폭증? 모델 라우팅으로 돌파구 찾나

“AI 지출 혁명, 오픈AI·앤트로픽의 위기인가 기회인가?”

기업들의 인공지능(AI) 투자 경쟁이 과열되면서 예상치 못한 문제가 발생하고 있습니다.

바로 AI 모델 운영 비용의 급증입니다.

초기에는 가장 강력하고 최첨단 AI 모델에 모든 작업을 맡기는 방식이 주를 이루었으나, 이제는 기업 재무팀의 예산 압박과 함께 효율적인 비용 관리의 중요성이 부각되고 있습니다.

이러한 변화의 중심에는 ‘모델 라우팅(Model Routing)’이라는 새로운 개념이 떠오르고 있으며, 이는 OpenAI와 Anthropic과 같은 선도적인 AI 기업들에게 중대한 도전 과제가 될 것으로 전망됩니다.

과거에는 단순함을 위해 무조건 고성능 모델을 사용했지만, 이제는 각 작업의 복잡성에 맞춰 가장 적합하고 경제적인 모델을 선택하는 전략으로 전환되고 있기 때문입니다.

AI 비용 급증, 기업들의 ‘새로운 지출 규율’

최근 몇 년간 기업들은 AI 도입에 열을 올리며 가장 강력한 AI 모델에 모든 쿼리를 집중시키는 전략을 구사해왔습니다.

그러나 이러한 방식은 막대한 비용으로 이어져 많은 기업들이 AI 예산을 초과하는 상황에 직면하게 되었습니다.

이는 최고 재무 책임자(CFO)와 이사회로 하여금 AI 지출에 대한 ‘새로운 지출 규율’을 적용하도록 압박하고 있습니다.

이에 따라 기업들은 모든 작업에 최첨단 또는 ‘프론티어(frontier)’ 모델이 반드시 필요한지에 대한 근본적인 질문을 던지기 시작했습니다.

이에 대한 해결책으로 ‘모델 라우팅’이 주목받고 있습니다.

모델 라우팅은 각 작업의 성격에 맞춰 최적의 AI 모델을 연결하는 기술로, 복잡하고 어려운 문제는 비용이 많이 드는 고급 모델에 할당하고, 단순하고 반복적인 작업은 더 저렴하고 빠른 대체 모델을 활용하는 방식입니다.

Cognition의 CEO인 Scott Wu는 이러한 모델 라우팅이 단순 반복 업무에서 5~10배의 비용 효율성을 가져올 수 있다고 언급했습니다.

현재 대다수의 기업들은 모델 라우팅을 전혀 적용하지 않고 있으며, Glean의 CEO인 Arvind Jain은 기업 AI 사용량의 약 95%가 여전히 가장 비싼 프론티어 모델에서 처리되고 있다고 추정했습니다.

이는 마치 간단한 질문에 답하는 데에도 최고급 슈퍼컴퓨터를 사용하는 것과 같은 비효율입니다.

모델 라우팅: 비용 절감과 효율 극대화

모델 라우팅의 핵심은 ‘작업에 맞는 모델 연결’입니다.

예를 들어, ‘미국의 세 번째 대통령이 누구인가?’와 같은 간단한 질문에 답하는 데에는 어떤 최고급 모델을 사용하더라도 답변은 ‘Thomas Jefferson’으로 동일할 것입니다.

하지만 대부분의 기업은 이러한 단순한 작업에도 고가의 최첨단 모델을 사용함으로써 불필요한 비용을 지출하고 있습니다.

Cisco의 제품 책임자인 Jeetu Patel은 이러한 비용 문제를 구체적인 수치로 제시했습니다.

직원 1인당 주당 약 200달러의 토큰 사용료를 기준으로 할 때, 연간 1인당 약 10,000달러, 90,000명의 직원을 가진 기업이라면 연간 약 9억 달러의 비용이 발생할 수 있다고 분석했습니다.

(참고: 토큰(Token)이란?) Cisco는 실제로 AI 개발 비용이 예산을 훨씬 초과하여 30,000명의 엔지니어가 AI를 활용해 제품을 개발하는 과정에서 예산을 재분배해야 했습니다.

이러한 상황은 AI 공급업체들에게도 상당한 압박으로 작용하고 있습니다.

Cognition은 ‘AI 생산성 보장’을 내세우며, 고객이 지불하는 비용 대비 엔지니어링 가치를 제공하지 못할 경우 최대 1,000만 달러까지 사용료를 지원하겠다는 파격적인 제안을 내놓았습니다.

이는 단순히 소비된 토큰이나 생성된 코드 라인 수를 측정하는 기존 방식에서 벗어나, AI 에이전트가 실제로 절감한 인간 엔지니어링 시간을 기준으로 성과를 평가하겠다는 의지를 보여줍니다.

단순히 활동량만 늘리는 것이 아니라, 실제 ‘결과(output)’를 만들어내는 것이 중요하다는 점을 강조하는 것입니다.

AI 시장의 변화와 OpenAI, Anthropic의 미래

만약 기업들이 단순하고 대량으로 발생하는 작업을 중국 등지의 저렴한 오픈소스 모델로 이전한다면, OpenAI와 Anthropic은 모든 작업에 대한 수익을 얻기 어려워집니다.

이들은 복잡하고 부가가치가 높은 작업에 대해서만 수익을 창출하게 될 것입니다.

두 회사 모두 막대한 수요와 높은 가격 책정을 기반으로 사업을 구축하고 IPO(기업공개)를 준비해왔기에, 모델 라우팅이 보편화될 경우 이러한 비즈니스 모델에 상당한 영향을 받을 수 있습니다.

물론, 최첨단 기술 자체의 가치가 사라지는 것은 아니겠지만, 가격 책정 모델은 변화할 것입니다.

AI 기업들은 단순히 더 많은 비용을 청구하는 대신, 모델 활용의 효율성을 높이는 방향으로 나아가야 할 것입니다.

이는 결국 AI 산업 전반에 걸친 ‘효율성 경쟁’을 촉발할 것으로 예상됩니다.

과거에는 AI 지출을 계속 늘릴 것인가 하는 질문이 중요했다면, 이제는 ‘현명하게 지출하는 방법’을 찾는 것이 중요해졌습니다.

프리미엄 AI를 판매하는 기업에서 구매하는 기업으로 가격 결정권이 이동하고 있는 것입니다.

물론, 가장 어려운 작업에 대한 프론티어 모델의 프리미엄은 유지될 것입니다.

그러나 전체 AI 시장에서 이러한 ‘고난도 작업’이 차지하는 비중이 얼마나 될지가 OpenAI, Anthropic 등 선도 AI 기업들의 미래 가치를 결정짓는 중요한 요소가 될 것입니다.

한국 시장에서도 이러한 변화는 기업들의 AI 도입 전략과 투자 결정에 큰 영향을 미칠 것으로 보입니다.

특히, 국내 AI 스타트업들은 저렴하면서도 특정 분야에 특화된 모델을 개발하여 틈새시장을 공략하거나, 효율적인 모델 라우팅 솔루션을 제공하는 방식으로 경쟁력을 확보할 수 있을 것입니다.

또한, 대기업들은 AI 솔루션 도입 시 단순히 성능뿐만 아니라 구체적인 ROI(투자수익률)와 운영 효율성을 더욱 면밀히 따지게 될 것입니다.

기존 AI 모델 vs. 모델 라우팅

자주 묻는 질문 (FAQ)

Q: 모델 라우팅이 OpenAI나 Anthropic에게 즉각적인 위협이 되나요?

A: 즉각적인 위협보다는 장기적인 비즈니스 모델 변화를 야기할 가능성이 높습니다.

이들 기업은 여전히 고도의 지적 작업이나 복잡한 문제 해결에 필요한 프론티어 모델에 대한 수요를 유지할 수 있지만, 전체 AI 시장에서 차지하는 프리미엄 가격 모델의 비중은 줄어들 수 있습니다.

따라서 더욱 효율적인 운영과 새로운 수익 모델 개발이 필요합니다.

Q: 모델 라우팅은 한국 기업들에게도 적용될 수 있나요?

A: 네, 한국 기업들에게도 매우 유용합니다.

특히 AI 도입 초기 단계를 넘어 비용 효율성을 고려해야 하는 시점에서는 모델 라우팅이 필수적인 전략이 될 수 있습니다.

국내 IT 기업들은 물론, 다양한 산업 분야의 기업들이 AI 운영 비용을 절감하고 ROI를 극대화하기 위해 모델 라우팅 기술 도입을 적극 검토할 필요가 있습니다.

Q: 모델 라우팅을 구현하기 위해 어떤 기술이 필요한가요?

A: 모델 라우팅을 위해서는 여러 AI 모델을 효율적으로 관리하고, 작업의 특성을 분석하여 적절한 모델을 자동으로 선택하는 ‘모델 관리 플랫폼(Model Management Platform)’ 또는 ‘AI 오케스트레이션(AI Orchestration)’ 기술이 필요합니다.

또한, 각 모델의 성능과 비용 데이터를 실시간으로 추적하고 비교 분석하는 시스템도 중요합니다.

Q: 모델 라우팅 방식이 AI 발전 속도를 늦출 수도 있나요?

A: 직접적으로 AI 발전 속도를 늦춘다고 보기는 어렵습니다.

오히려 모델 라우팅은 AI 기술의 실질적인 적용 범위를 확대하는 데 기여할 수 있습니다.

비용 효율성이 높아짐에 따라 더 많은 기업과 개인들이 AI 기술을 활용할 수 있게 되며, 이는 결과적으로 AI 생태계의 성장을 촉진할 수 있습니다.

또한, 단순 작업은 효율적인 모델로, 복잡한 작업은 최첨단 모델로 분산하여 처리함으로써 프론티어 모델의 연구 개발에 더 집중할 수 있는 환경이 조성될 수도 있습니다.

Q: AI 실무 활용 및 도구에 대한 더 많은 정보는 어디서 얻을 수 있나요?

A: 다양한 AI 활용 사례와 최신 도구에 대한 정보는 AI 실무 활용 및 도구 관련 최신 트렌드 와 같은 기술 전문 블로그나 업계 보고서를 참고하시면 도움이 될 수 있습니다.

출처: https://www.cnbc.com/2026/06/05/model-routing-on-ai-is-a-problem-for-openai-and-anthropic.html

관련 추천 상품

n8n으로 주식비서 만들기:AI와 자동화로 완성하는 나만의 투자 관리법