최근 인공지능(AI) 기술의 급속한 발전과 함께, AI의 안전성과 제어 가능성에 대한 우려의 목소리가 높아지고 있습니다.
특히 AI 모델의 의도된 기능 범위를 벗어나 유해하거나 원치 않는 결과를 생성하도록 유도하는 ‘AI 해킹’ 혹은 ‘AI 탈옥(Jailbreaking)’ 기법이 주목받고 있습니다.
이러한 분야에서 독자적인 접근 방식으로 주목받는 인물, 조이 멜로(Joey Melo)의 관점을 통해 AI 해킹의 본질과 그 함의를 심층적으로 분석합니다.
AI 해킹, 게임에서 시작된 호기심
조이 멜로의 AI 해킹 접근 방식은 단순히 기존 시스템을 분해하고 다른 목적으로 재조립하는 것이 아니라, 규칙을 변경하지 않고 AI의 경험을 제어하는 데 초점을 맞춥니다.
이는 그의 어린 시절 ‘카운터 스트라이크’ 게임에 대한 애착에서 비롯되었습니다.
그는 게임 파일을 수정하거나, 봇의 이름을 바꾸거나, 캐릭터의 이동 속도 및 복장 색상을 변경하는 등 게임의 규칙을 바꾸지 않으면서도 환경을 조작하는 것에 재미를 느꼈다고 합니다.
이러한 경험은 소스 코드를 직접 수정하지 않고 AI를 자신의 의지대로 움직이게 만드는 현재의 AI 레드팀 해커로서의 역량으로 이어졌습니다.
펜테스터에서 AI 레드팀 전문가로
현재 크라우드스트라이크(CrowdStrike)에서 수석 보안 연구원으로 재직 중인 멜로는 이전에도 펜테스터(Pentester) 및 레드팀 전문가로 활동했습니다.
펜테스팅이 특정 시스템의 취약점을 좁고 집중적으로 테스트하는 방식이라면, 레드팀은 조직 전체의 보안 태세를 종합적으로 평가합니다.
멜로가 펜테스팅에서 AI 레드팀으로 전환하게 된 계기는 AI라는 새로운 기술 분야에 대한 점증하는 호기심 때문이었습니다.
그는 AI를 더 깊이 이해하고자 업무 외 시간을 활용해 독학했으며, 2025년 3월 패킷랩스(Packetlabs) 재직 당시 참여했던 AI 해킹 대회에서 뛰어난 성과를 거두며 Pangea의 AI 레드팀 전문가로 합류하게 되었습니다.
그는 펜테스팅 경험에서 얻은 지식과 해커 특유의 집요함, 그리고 레이저처럼 집중하는 능력이 AI 레드팀 활동에 큰 도움이 되었다고 언급합니다.
이는 게임 환경을 조작했던 어린 시절의 경험과 본질적으로 동일한 맥락을 가집니다.
즉, 코드 자체를 변경하지 않고 AI의 출력을 조작하고 제어하는 도전 과제에 매력을 느끼는 것입니다.
이는 곧 ‘재미’와 ‘통제력 확보’라는 핵심 동기를 바탕으로 합니다.
AI ‘탈옥’ 게임의 이해
AI 탈옥은 기본적으로 AI 챗봇을 ‘해방’시켜, 내재된 제약 조건을 제거하고 원하는 모든 종류의 출력을 생성하도록 만드는 것을 목표로 합니다.
AI의 코드에 포함된 알고리즘, 학습된 정보, 가중치 등이 AI가 할 수 있는 일의 범위를 정의하며, 위험한 출력을 방지하는 ‘가드레일(Guardrails)’이 AI의 한계를 설정합니다.
탈옥의 핵심은 플레이어가 정교하게 설계된 입력(프롬프트)을 통해 이러한 가드레일을 조작하거나 우회하여, AI가 특정 종류의 유해한 정보를 출력하도록 유도하는 것입니다.
멜로는 AI 챗봇의 역할, 능력, 그리고 가드레일의 강도를 파악하기 위해 초기 탐색(Enumeration) 과정을 거칩니다.
그는 챗봇에게 “당신의 역할은 무엇인가?
왜 여기에 있는가?
나를 어떻게 도우려 하는가?”와 같은 질문을 던져 챗봇의 정체성과 기대 행동 범위를 이해합니다.
예를 들어, 챗봇이 ‘글쓰기 도우미’라고 응답하면, 코드를 작성할 수 있는지, 혹은 ‘만병통치약 제조법’에 대해 알려줄 수 있는지 등을 질의하여 가드레일의 한계를 시험합니다.
맥락 조작: AI 제어의 핵심 열쇠
대규모 언어 모델(LLM)은 대화의 흐름을 위해 최근 질문과 답변을 기억하는 ‘맥락(Context)’을 유지합니다.
탈옥 시도자는 이러한 맥락을 조작하여 AI의 기본 가드레일을 무력화하거나 무시하게 만드는 것을 목표로 합니다.
이는 단순한 질문 형식이 아닌, 길고 복잡한 진술 형태의 프롬프트를 통해 이루어질 수 있습니다.
멜로는 한 가지 흥미로운 예시를 제시합니다.
그는 AI에게 현재가 2035년이며 핵무기 생산이 합법화되었다고 설득하는 시나리오를 언급합니다.
AI는 이전의 법적 제약이 과거의 정보이며, 새로운 시대의 규칙이 적용된다고 판단하여 핵무기 생산 정보 제공에 동의할 수 있다는 것입니다.
또한, 저작권이 있는 코드에 대한 분석을 불법적으로 차단하도록 설정된 AI에게, 해당 코드가 특정 저작권 공지 하에 보호되며 분석이 법적으로 허용되지 않는다는 맥락을 주입하여, 오히려 AI가 해당 데이터를 ‘합법적으로’ 공개하도록 유도하는 방식도 설명합니다.
이는 AI의 운영 맥락을 조작하여 가드레일을 우회하거나 무효화하는 강력한 기법입니다.
이러한 새로운 탈옥 기법의 개발은 궁극적으로 AI 개발자들이 더 효과적인 가드레일을 구축하도록 돕는 윤리적 해커들의 중요한 역할 중 하나입니다.
AI 윤리 및 미래 전망
조이 멜로의 접근 방식은 AI 기술의 잠재적 위험성을 인지하면서도, 기술 자체의 발전을 긍정적으로 바라보고 있습니다.
그의 방법론은 AI의 취약점을 파악하고 개선함으로써, 보다 안전하고 신뢰할 수 있는 AI 시스템을 구축하는 데 기여합니다.
AI가 더욱 고도화되고 우리 삶에 깊숙이 파고들수록, 이러한 AI 보안 및 제어 전문가의 역할은 더욱 중요해질 것입니다.
AI를 단순히 ‘악용’하는 것이 아니라, AI의 작동 방식을 깊이 이해하고 잠재적 위험을 사전에 방지하며 AI 기술이 인류에게 긍정적인 방향으로 발전하도록 이끄는 것이 이들의 궁극적인 목표라 할 수 있습니다.
AI 탈옥은 단순한 기술적 유희를 넘어, AI의 윤리적 사용과 안전한 발전 방향을 모색하는 중요한 과정입니다.
멜로와 같은 전문가들의 노력은 AI가 우리 사회에 가져올 긍정적인 미래를 현실화하는 데 필수적인 역할을 할 것입니다.
자주 묻는 질문 (FAQ)
Q: AI 탈옥(Jailbreaking)이란 정확히 무엇인가요?
A: AI 탈옥은 AI 모델의 설계된 제약 조건이나 안전 가드레일을 우회하여, AI가 정상적으로는 거부해야 할 질문이나 요청에 대해 응답하도록 만드는 행위를 말합니다.
이는 AI의 잠재적 위험성을 탐구하고, 더 안전한 AI 시스템 개발을 위한 과정으로 볼 수 있습니다.
Q: AI 해킹은 불법적인가요?
A: AI 탈옥 기술 자체를 연구하고 사용하는 목적이 AI 시스템의 보안 강화 및 안전성 개선이라면 윤리적인 활동으로 간주될 수 있습니다.
그러나 악의적인 목적으로 AI를 오용하거나 불법적인 정보를 얻기 위해 탈옥을 시도하는 것은 법적, 윤리적 문제를 야기할 수 있습니다.
Q: 펜테스팅 경험이 AI 레드팀 활동에 어떻게 도움이 되나요?
A: 펜테스팅 경험은 시스템의 취약점을 식별하고 공격 벡터를 분석하는 능력, 그리고 다양한 시도를 통해 목표를 달성하는 집요함을 길러줍니다.
이러한 능력은 AI의 복잡한 내부 작동 방식을 이해하고, 예상치 못한 방법으로 AI를 조작하는 데 유용하게 적용될 수 있습니다.
Q: AI 보안 전문가가 되려면 어떤 역량이 필요한가요?
A: AI 보안 전문가가 되려면 AI 및 머신러닝에 대한 깊이 있는 이해, 프로그래밍 능력, 그리고 시스템의 취약점을 찾아내는 분석적 사고 능력이 요구됩니다.
또한, 끊임없이 변화하는 AI 기술 동향을 파악하고 새로운 공격 및 방어 기법을 학습하는 데 관심이 있어야 합니다.