최근 챗GPT(ChatGPT)의 새로운 이미지 엔진 공개는 인공지능 분야에 뜨거운 기대를 불어넣었습니다.

많은 이들이 시각적 AI의 혁신을 점치며 그 잠재력에 주목하고 있습니다.

하지만 인공지능 분야의 저명한 비판론자이자 인지과학자인 게리 마커스 교수는 이러한 ‘강력함’ 이면에 가려진 AI의 근본적 한계에 의문을 제기합니다.

본 포스팅에서는 마커스 교수의 심층 분석을 바탕으로, 챗GPT의 최신 이미지 엔진이 과연 진정한 ‘이해’에 도달했는지, 아니면 단순한 ‘모방’에 머물러 있는지 냉철하게 들여다보고, 미래 AI 발전에 대한 중요한 시사점을 도출하고자 합니다.

ChatGPT의 새 이미지 엔진, 무엇이 달라졌나?

ChatGPT의 새로운 이미지 엔진은 공개와 동시에 기술 커뮤니티와 대중의 이목을 집중시켰습니다.

초기 시연에서 시스템은 복잡한 이미지 내 객체를 식별하고 라벨링하는 등, 이전 모델 대비 현저히 개선된 성능을 보여주는 듯했습니다.

게리 마커스 교수조차 ‘이전 예시들보다 인상적이다’라고 인정하며, 겉으로 드러난 기술적 진보에 대해 긍정적인 평가를 내렸습니다.

이러한 발전은 AI가 이미지를 인식하는 것을 넘어, 그 안에 담긴 의미와 구조를 파악하는 시각적 추론 능력을 강화하고 있다는 기대를 불러일으켰습니다.

이는 자율주행, 의료 영상 분석, 로봇 공학 등 다양한 분야에서의 혁신 가능성이 점쳐졌죠.

하지만 마커스 교수는 이러한 겉모습에 현혹되지 않고, AI의 근본적인 취약점을 파고들었습니다.

진정한 이해는 단순한 패턴 매칭을 넘어선 기능적 지식과 상식적 추론을 요구하기 때문입니다.

겉보기와 다른 현실: 드러난 구조적 결함

마커스 교수가 제시한 첫 번째 사례는 자전거 라벨링이었습니다.

챗GPT의 새 엔진은 자전거 부품에 라벨을 붙이는데, 초반에는 상당한 정확도를 보이는 듯했습니다.

그러나 자세히 들여다보자 여러 치명적인 오류들이 드러났습니다.

예를 들어, 자전거 뒷부분의 브레이크 시스템으로 보이는 부분이 ‘시트 스테이(seat stay)’로, 뒷바퀴의 큰 기어(gear)는 엉뚱하게 ‘리어 브레이크(rear brake)’로 잘못 라벨링되었고, 심지어 ‘스포크(spoke)’ 라벨은 자전거 부품이 아닌 빈 공간을 가리키는 상황도 있었습니다.

이러한 오류는 단순히 라벨링을 잘못한 수준을 넘어섭니다.

이는 AI가 자전거의 각 부품이 어떤 역할을 하고, 서로 어떻게 연결되어 작동하는지에 대한 ‘기능적 이해(functional understanding)’가 결여되어 있음을 명백히 보여줍니다.

마커스 교수는 AI가 현대 자전거의 디스크 브레이크 위치와 구형 캘리퍼 브레이크 시스템의 다이어그램을 어설프게 혼합한 결과라고 분석했습니다.

이는 AI가 인터넷의 방대한 자전거 이미지에서 학습한 시각적 패턴을 피상적으로 조합했을 뿐, 부품 간의 논리적 관계나 작동 원리에 대한 깊이 있는 이해 없이 단순히 ‘게워내는(regurgitating)’ 수준에 머물러 있다는 방증입니다.

기능적 이해의 한계, 단순 암기인가?

AI의 진정한 이해도를 심층적으로 시험하기 위해 마커스 교수는 더욱 복잡하고 비정형적인 요청을 제시했습니다.

그는 챗GPT에게 “평균보다 키가 큰 탠덤 자전거를 그리고, 여기에 짐받이와 패니어 가방도 포함해달라”고 주문했습니다.

이러한 요청은 인터넷에서 쉽게 찾을 수 있는 정형화된 이미지가 아니며, 여러 요소들의 복합적 조합과 기능적 특성 고려를 필요로 하는 고난도 과제입니다.

그러나 생성된 결과물은 다시 한번 AI의 한계를 명확히 드러냈습니다.

자전거 전문가들이 보면 즉시 문제점을 찾아낼 수 있을 정도로 엉뚱한 오류들이 가득했습니다.

리어 변속기(rear derailleur)가 뒷바퀴 안쪽에 기형적으로 위치했고, ‘리어 브레이크 레버’는 형태조차 알아보기 어려웠습니다.

뒷좌석의 핸들바는 안장처럼 생겼으며, ‘리어 브레이크’는 짐받이의 일부처럼 표현되는 등, 물리적으로 불가능하거나 기능적으로 말이 안 되는 이미지들이 생성되었습니다.

이는 AI가 요청된 개별 요소들을 그림으로는 그릴 수 있었지만, 이 요소들이 현실 세계에서 어떻게 배치되고 서로 어떤 관계를 맺어야 하는지에 대한 총체적인 ‘상식적 추론’과 ‘기능적 이해’가 부재하다는 것을 극명히 보여줍니다.

단순히 데이터를 기반으로 패턴을 학습하는 것을 넘어, 사물의 본질적인 작동 원리를 이해하는 단계까지는 아직 갈 길이 멀다는 점을 시사합니다.

AI 발전에 던지는 시사점과 미래 전망

게리 마커스 교수의 이번 분석은 챗GPT의 이미지 엔진뿐만 아니라, 현재 생성형 AI 전반이 직면하고 있는 근본적인 문제점을 조명합니다.

기사 댓글에서 언급되었듯이, 코딩 에이전트와 같은 다른 분야의 AI 역시 새롭거나 비정형적인 문제 해결에 있어서 유사한 어려움을 겪고 있습니다.

AI는 방대한 데이터를 학습하여 패턴을 인식하고, 이를 기반으로 매우 그럴듯한 결과를 생성하는 데 탁월하지만, 진정한 의미의 ‘이해’가 결여되어 있기 때문에 때로는 ‘환각(hallucination)’ 현상을 일으키거나, 비논리적인 결과물을 만들어내곤 합니다.

이는 AI가 단순한 통계적 연관성을 넘어, 현실 세계의 인과 관계, 물리 법칙, 그리고 기능적 제약조건을 심층적으로 이해하는 데 어려움을 겪고 있음을 의미합니다.

이번 사례는 AI 기술이 진정으로 신뢰할 수 있는 도구가 되기 위해서는 단순히 ‘패턴 매칭’을 넘어선 ‘심층적 추론(deep reasoning)’ 능력을 갖추도록 발전해야 함을 역설합니다.

궁극적으로 AI는 인간의 지능을 대체하는 것이 아니라, 인간의 문제 해결 능력을 보완하고 확장하는 강력한 도구가 되어야 합니다.

따라서 AI의 능력을 맹신하기보다는, 그 한계를 명확히 인지하고 인간 전문가의 검증과 판단이 필수적이라는 점을 항상 기억해야 할 것입니다.

결론적으로, 챗GPT의 새로운 이미지 엔진은 시각적 표현 능력에서 눈부신 발전을 이루었지만, 여전히 ‘기능적 이해’라는 본질적인 장벽에 직면해 있습니다.

AI는 방대한 데이터를 통해 학습된 지식을 재구성하는 데 능숙하지만, 복잡한 세계의 작동 원리나 새로운 상황에 대한 심층적인 추론 능력은 아직 인간의 수준에 미치지 못하고 있습니다.

이러한 현실은 AI 기술의 발전을 냉철하게 평가하고, 그 한계를 명확히 인식하며, 궁극적으로 인간의 고유한 인지 능력과의 시너지를 모색하는 것이 중요함을 다시 한번 일깨워줍니다.

AI는 강력한 도구이지만, 그 능력을 맹신하기보다는 지속적인 검증과 개선을 통해 진정한 지능으로 나아가야 할 것입니다.

앞으로 AI가 단순히 겉으로 보이는 이미지나 텍스트를 생성하는 것을 넘어, 세상의 이치를 깊이 이해하고 합리적으로 추론하는 단계에 도달할 수 있을지 귀추가 주목됩니다.

출처: https://garymarcus.substack.com/p/chatgpts-powerful-new-image-engine