영국과 아일랜드 중고서점가에서 AI 기업으로 추정되는 주체들이 무작위 중고서적을 대량 매집하는 현상이 포착되었습니다. 이는 LLM 학습에 필요한 ‘클린 데이터’ 확보 경쟁의 일환으로 분석됩니다. 국내 AI 기업의 데이터 전략과 한국 시장에 미칠 파급 효과, 그리고 윤리적, 법적 문제에 대한 선제적 대응이 중요한 시점입니다.
전문가 통찰 및 한줄평 (Insight)
AI 학습 데이터 확보는 이제 단순히 기술적 문제를 넘어 윤리적, 법적, 심지어 물리적 자산 확보 경쟁으로 확장되고 있다.
국내 AI 기업들 역시 양질의 한국어 원문 데이터 확보에 대한 창의적인 접근과 함께, 이 과정에서 발생할 수 있는 저작권 및 윤리적 문제에 대한 선제적 고민이 필요한 시점이다.
최근 영국과 아일랜드 중고서점가에서 벌어지고 있는 기이한 현상은 글로벌 AI 기업들의 학습 데이터 확보 전쟁이 어디까지 진화하고 있는지를 극명하게 보여준다.
정체를 알 수 없는 구매자들이 특정 테마 없이 무작위로 방대한 양의 중고 서적을 대량으로 사들이고 있다는 소식은, 국내 AI 데이터 확보 경쟁에 중요한 시사점을 던진다.
핵심 이슈 및 배경
가디언 보도에 따르면, 영국과 아일랜드의 중고서점 주인들은 지난 몇 달간 미국, 캐나다, 유럽 대륙 등 다양한 지역의 구매자들로부터 이해하기 힘든 대량 주문을 받고 있다고 증언했다.
이 주문들은 스포츠나 자동차처럼 특정 주제로 묶이지 않고, 에스토니아어 번역본부터 18세기 농기구 서적, 1950년대 레이싱 드라이버 전기까지 그야말로 뒤죽박죽이다.
구매자들은 할인을 요구하지 않고 정가를 모두 지불하며, 익명성이 강하고 런던 히스로 공항 인근의 물류 창고로 배송되는 경우가 많다.
이들은 수천 권의 책을 수만 파운드에 구매하기도 한다.
이러한 현상의 배경에는 AI 기업들의 치열한 학습 데이터 확보 경쟁이 자리하고 있다.
특히 거대언어모델(LLM)의 성능을 좌우하는 것은 방대하고 고품질의 ‘클린 데이터’이기 때문이다.
실제로 Anthropic과 같은 선두 AI 기업이 Claude 챗봇 훈련을 위해 수천만 달러를 들여 책을 사들인 후 스캔하여 재활용 처리했다는 사실이 밝혀지면서, 이러한 의심은 더욱 증폭되고 있다.
AI 챗봇이 생성한 텍스트로 오염되지 않은, 2022년 이전에 출판된 서적들은 LLM 학습에 이상적인 자료로 꼽힌다.
이처럼 AI는 인터넷에 공개된 디지털 자료를 넘어, 물리적 형태의 ‘책’이라는 원천 데이터까지 탐색하며 학습 데이터의 지평을 넓히고 있는 상황이다.
상세 비교 분석
LLM 학습 데이터 확보 방식은 다양하며, 각 방식은 고유한 장단점과 윤리적, 법적 과제를 안고 있다.
최근 부각된 물리적 도서 스캔 방식은 이러한 데이터 확보의 최전선을 보여준다.
다음 표는 주요 데이터 확보 방식을 비교 분석한다.
| 데이터 확보 방식 | 특징 | 장점 | 단점 | 국내 활용 현황 |
|---|---|---|---|---|
| 웹 크롤링 | 인터넷 공개 데이터 수집 (뉴스 기사, 블로그, 게시판, 커뮤니티 등) | 대량 데이터 확보 용이, 비교적 저렴한 비용 | 데이터 품질 편차 큼, 저작권 및 개인정보 침해 이슈, AI 생성 콘텐츠 오염 우려 | 네이버, 카카오 등 국내 빅테크 및 스타트업에서 LLM 개발을 위해 폭넓게 활용, 법적 분쟁 가능성 상존 |
| 상업적 데이터셋 | 전문 공급업체로부터 라이선스 구매 (특정 도메인 뉴스 아카이브, 학술 자료, 연구 보고서 등) | 고품질, 정제된 데이터, 저작권 이슈에 대한 법적 안전성 확보 | 높은 비용 발생, 데이터의 다양성 부족 또는 특정 도메인 편중 가능성 | 일부 전문 분야 AI 개발에 활용되고 있으나, 비용 부담으로 인해 접근성이 제한적 |
| 물리적 도서 스캔 | 중고서적 등 오프라인 자료 구매 후 고속 스캐닝을 통한 디지털화 (본 기사 사례) | AI 오염이 없는 ‘원시 데이터’ 확보, 독점적이고 희귀한 정보 획득 가능 | 높은 물리적 구매 비용, 보관 및 스캔에 드는 시간과 인력 소요, 복잡한 저작권 문제, 대량 폐기 시 환경 문제 발생 | 아직 주류 방식은 아니나, AI 데이터 확보 경쟁이 심화되고 한국어 클린 데이터의 가치가 부각될 경우 도입 가능성 검토 |
| 합성 데이터 생성 | AI 모델이 스스로 생성하거나 기존 데이터를 변형하여 만든 데이터 | 특정 시나리오 데이터 확보 용이, 개인정보 이슈 회피, 데이터 부족 문제 해결 | 생성된 데이터의 현실성/정확성 검증 필요, 기존 데이터의 편향성 내재 가능성 | 초기 연구 및 개발 단계이며, 특정 분야 (예: 의료 영상, 반도체 설계)에서 보조적인 학습 데이터로 활용 |
시장 파급 효과 및 전망
AI 기업들의 이러한 ‘중고서적 매집’ 현상은 여러 측면에서 시장에 광범위한 파급 효과를 가져올 것으로 전망된다.
첫째, 데이터의 가치에 대한 재조명이다.
물리적인 형태의 책이 단순한 정보 전달 매체를 넘어, AI 시대의 핵심 자원인 ‘학습 데이터’로서의 전략적 가치를 인정받고 있다.
이는 특히 온라인에 디지털화되지 않은 방대한 지식 자원의 중요성을 부각시킨다.
둘째, 중고서적 시장의 구조적 변화와 교란이다.
책의 구매 목적이 ‘독서’에서 ‘데이터 추출’로 바뀌면서, 전통적인 중고서적 유통 질서가 흔들릴 수 있다.
무작위 대량 구매는 특정 분야의 희귀성이나 가치와 무관하게 모든 책의 가격을 상승시킬 수 있으며, 이는 일반 소비자의 접근성을 떨어뜨릴 수 있다.
동시에 대량의 재고를 소화하는 새로운 비즈니스 모델이 등장할 수도 있다.
셋째, AI 기업들의 데이터 확보 전략이 더욱 공격적이고 다변화될 것임을 예고한다.
웹 크롤링의 한계, 저작권 이슈, 그리고 AI 생성 콘텐츠로 인한 데이터 오염 문제가 심화될수록, 오프라인의 ‘클린 데이터’에 대한 수요는 더욱 커질 수밖에 없다.
관련 기술 트렌드 더 보기에서 자세히 다루었듯이, 이러한 데이터 확보 경쟁은 AI 기술 발전의 필수 요소이다.
넷째, 환경적 측면에서의 논란이다.
대량으로 구매된 책들이 스캔 후 곧바로 폐기된다는 의혹은 자원 낭비와 환경 오염 문제로 이어질 수 있다.
AI 개발의 윤리적 책임 범위가 어디까지 확장되어야 하는지에 대한 사회적 논의가 필요하다.
한국 시장에서의 시사점
이러한 글로벌 AI 데이터 확보 경쟁은 한국 시장에도 중요한 시사점을 던진다.
국내 AI 기업들, 특히 한국어 LLM을 개발하는 네이버, 카카오, LG AI연구원, KT, SKT, 업스테이지 등은 양질의 한국어 데이터 확보에 큰 어려움을 겪고 있다.
- 국내 AI 기업 데이터 전략의 고심: 영어에 비해 한국어 데이터는 그 양이 절대적으로 적고, 특히 전문 서적이나 학술 자료, 지역 특화 콘텐츠와 같이 정제되고 고품질의 데이터는 더욱 희소하다. 실제로 국내 스타트업 현장에서는 초기 LLM 학습 시 영어 데이터는 접근성이 좋았으나, 특정 도메인에 대한 고품질의 한국어 전문 데이터가 부족해 애를 먹는 경우가 많다. 이 때문에 중고서적 매집과 같은 전략이 국내에서도 검토될 가능성을 배제할 수 없다.
- 국내 중고서적 시장 영향: 현재까지 국내 중고서점 시장에서 AI 기업으로 추정되는 대규모, 무작위 매집 징후는 명확히 보고된 바 없다. 그러나 글로벌 트렌드가 확산된다면 국내 중고서점 시장에도 유사한 현상이 발생할 수 있다. 이는 도서 유통의 패러다임을 바꾸고, 저작권 문제와 문화적 자산 보호에 대한 새로운 논의를 촉발할 수 있다.
- 한국 직장인, 개발자, 투자자에게 미치는 영향:
- 개발자: 클린 데이터의 중요성이 더욱 부각되면서, 데이터 수집, 정제, 가공 기술을 갖춘 데이터 엔지니어링 역량이 더욱 중요해질 것이다. 고품질 데이터셋 구축 경험이 핵심 경쟁력이 될 수 있다.
- 투자자: AI 학습 데이터 솔루션을 제공하는 기업, 저작권 관리 기술을 가진 스타트업, 그리고 희귀 서적이나 아날로그 콘텐츠를 디지털화하는 아카이빙 사업 등에 대한 관심이 증가할 수 있다.
- 직장인: AI 기술 활용에 있어 데이터 소스의 윤리성 및 투명성 검증이 중요한 화두가 될 것이다. AI가 생성하는 정보의 신뢰도에 대한 비판적 사고가 요구된다.
- 지금 당장 한국에서 활용하거나 대응할 수 있는 전략:
- 국내 디지털 콘텐츠 아카이빙 강화 및 접근성 개선: 국립중앙도서관 등 공공기관의 디지털 아카이빙 사업을 확대하고, AI 학습용 데이터셋으로서의 접근성을 높이는 방안을 모색해야 한다. 이는 저작권 보호와 데이터 활용이라는 두 마리 토끼를 잡는 방법이 될 수 있다.
- AI 학습용 데이터셋 구축 가이드라인 마련: AI 학습 데이터 수집 및 활용에 대한 명확한 윤리적, 법적 가이드라인을 마련하여, 저작권자와 AI 기업 간의 상생 모델을 구축하고 불필요한 분쟁을 예방해야 한다.
결론
영국과 아일랜드 중고서점가에서 포착된 ‘이상한’ 대량 주문은 AI 시대에 데이터가 어떤 의미를 가지며, 그 확보를 위해 어떤 노력이 벌어지고 있는지를 보여주는 단적인 예시다.
AI 데이터 확보 경쟁은 앞으로 더욱 치열해질 것이며, 이는 기술 발전과 동시에 윤리, 법, 환경 등 다각적인 측면에서 사회에 중요한 질문들을 던질 것이다.
국내 AI 산업의 지속 가능한 성장을 위해서는 기술적 진보뿐만 아니라, 데이터 확보 과정의 투명성과 윤리성, 그리고 문화적 자산 보호를 위한 현명한 전략 마련이 필수적이다.
자주 묻는 질문 (FAQ)
Q: AI 기업이 왜 중고서적을 대량으로 사들이나요?
A: AI 모델, 특히 거대언어모델(LLM)을 훈련시키기 위해서는 방대하고 고품질의 ‘클린 데이터’가 필수적입니다.
웹상의 데이터는 AI 생성 콘텐츠로 오염될 가능성이 커지고 있어, 오염되지 않은 원시 데이터를 찾기 위해 중고서적과 같은 오프라인 자료까지 활용하는 것입니다.
물리적 서적은 독점적이고 희귀한 정보를 포함하고 있을 가능성도 높습니다.
Q: Anthropic은 어떤 방식으로 책을 스캔했나요?
A: Anthropic은 수천만 달러를 들여 책을 대량으로 구매한 뒤, 책의 등뼈(spine) 부분을 잘라내고 고속 스캐너를 이용해 내용을 디지털화한 것으로 알려졌습니다.
스캔이 완료된 책들은 이후 재활용 처리된 것으로 보도되었습니다.
이는 대규모 데이터 처리를 위한 효율적인 방법이지만, 자원 낭비 및 저작권 침해 논란을 야기하고 있습니다.
Q: AI 학습 데이터 확보가 국내 중고서점 시장에 영향을 미칠까요?
A: 아직 국내 중고서점 시장에서 AI 기업으로 추정되는 대규모 매집 징후는 뚜렷하지 않습니다.
그러나 글로벌 AI 데이터 확보 경쟁이 심화되고 한국어 클린 데이터의 가치가 더욱 부각된다면, 국내 중고서점 시장에도 유사한 현상이 나타날 가능성을 배제할 수 없습니다.
이는 도서의 가격 변동, 유통 방식 변화, 그리고 저작권 관련 새로운 논의를 촉발할 수 있습니다.
Q: AI 학습에 사용되는 데이터의 저작권 문제는 어떻게 되나요?
A: AI 학습용 데이터의 저작권 문제는 전 세계적으로 뜨거운 논쟁거리입니다.
AI 기업들은 학습 과정이 저작권 침해가 아니라고 주장하는 반면, 저작권자들은 허락 없이 자신의 창작물이 사용되는 것에 대해 반발하고 있습니다.
이 문제는 각국의 법원 판결과 정책 변화에 따라 지속적으로 진화할 것으로 보이며, 합리적인 저작권료 지불 모델이나 라이선스 계약을 통한 상생 방안 모색이 중요합니다.
출처 URL: https://www.theguardian.com/technology/2026/aug/15/uk-ireland-booksellers-suspect-ai-companies-bulk-orders-data-acquisition
— 이 글과 관련된 추천 서비스 —
* 이 포스팅은 제휴 마케팅 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받을 수 있습니다. *