SageMaker AI, 에이전트 기반 모델 커스터마이징 가속

AI 모델을 조직의 고유 데이터와 전문 지식으로 맞춤화하는 것은 기업의 핵심 경쟁력입니다.

하지만 기존 방식은 전문적인 파인튜닝 기법 숙달, 파편화된 API 및 모델별 데이터 형식 처리, 복잡한 평가 설계, 그리고 긴 실험 주기 관리 등 많은 어려움을 동반했습니다.

이제 Amazon SageMaker AI는 이러한 과정을 혁신할 에이전트 기반 경험을 제공합니다.

개발자는 자연어로 사용 사례를 설명하면, AI 코딩 에이전트가 사용 사례 정의부터 데이터 준비, 기법 선택, 평가, 배포까지 전 과정을 간소화합니다.

목표 달성을 위한 에이전트 스킬의 등장

Amazon SageMaker AI의 새로운 기능은 목적에 맞게 설계된 에이전트 스킬을 통해 모델 커스터마이징의 복잡성을 획기적으로 줄입니다.

이 스킬들은 특정 사용 사례에 적용되는 파인튜닝 전문 지식, 필요한 형식으로의 데이터 변환, LLM-as-a-Judge 메트릭을 활용한 품질 평가, 그리고 Amazon Bedrock 또는 SageMaker AI 엔드포인트로의 유연한 배포 등 전문화된 기능을 제공합니다.

이는 단순히 생산성을 높이는 것을 넘어, 토큰 사용량을 감소시키는 효과까지 가져옵니다.

생성된 모든 코드는 편집 가능하여 재사용 가능한 아티팩트로, 기존 워크플로우에 원활하게 통합될 수 있습니다.

모델 커스터마이징의 전 과정을 아우르는 에이전트 스킬

에이전트 스킬의 가장 강력한 점은 모델 커스터마이징 라이프사이클 전반에 걸쳐 AWS와 데이터 과학 전문 지식을 담고 있는 사전 구축된 모듈식 명령어 세트라는 것입니다.

사용자가 사용 사례를 설명하면, AI 코딩 에이전트는 관련 스킬을 활성화하여 데이터 준비 및 검증, 기법 선택, 하이퍼파라미터 구성, 모델 평가, 배포까지 안내합니다.

이 스킬들은 SageMaker AI API, ML 워크플로우, 모범 사례, 일반적인 패턴에 대한 전문 지식을 제공하여, 코딩 에이전트가 각 단계에서 즉시 실행 가능한 노트북을 생성하면서 더욱 정확하고 SageMaker AI에 특화된 안내를 제공할 수 있도록 합니다.

또한, 이 스킬들은 사용자 정의가 가능하여 팀의 워크플로우, 거버넌스 표준, 툴 선호도에 맞춰 수정할 수 있습니다.

이는 일반 코딩 보조 도구에서 흔히 발생하는 재현성 문제를 해결하고 조직의 모범 사례를 체계화하는 데 기여합니다.

SageMaker AI Studio 내 강화된 개발 환경

SageMaker AI Studio의 JupyterLab 환경은 ACP(Agent Communication Protocol)를 통해 통합된 에이전트 개발 환경을 지원합니다.

기본적으로 Amazon의 AI 소프트웨어 개발 에이전트인 Kiro가 채팅 패널에 사전 구성되어, JupyterLab 환경 내에서 AI 기반 코드 완성, 디버깅 지원, 대화형 코딩 지원을 직접 제공합니다.

SageMaker AI JupyterLab에서 코딩 에이전트를 사용할 때, 해당 공간은 관련 SageMaker AI 모델 커스터마이징 스킬을 에이전트의 컨텍스트로 자동 로드합니다.

또한, Claude Code와 같이 ACP 호환 코딩 에이전트를 선택적으로 구성하여 워크플로우에 가장 적합한 도구를 유연하게 사용할 수 있습니다.

ACP 호환 에이전트 역시 SageMaker AI JupyterLab 내에서 동일한 SageMaker AI 스킬 통합의 이점을 누릴 수 있습니다.

이 통합은 JupyterLab뿐만 아니라 원격으로 자체 IDE에서도 활용 가능합니다.

필수 사전 준비 사항

본 튜토리얼을 시작하기 전에 다음 사항을 준비해야 합니다.

AWS 계정
SageMaker AI 도메인에 접근하거나 생성할 수 있는 권한
필요한 권한을 가진 AWS IAM 역할
Amazon S3 버킷
SageMaker AI Studio JupyterLab 컴퓨팅 공간에 대한 접근 권한

SageMaker AI Distribution 이미지 버전 4.1 이상이 필요하며, 도메인의 실행 역할에 AmazonSageMakerFullAccess 관리형 정책을 연결하고 Lambda, S3, Bedrock 접근을 위한 추가 인라인 정책을 첨부해야 합니다.

실행 역할의 신뢰 정책은 sagemaker.amazonaws.com, lambda.amazonaws.com, bedrock.amazonaws.com 서비스가 해당 역할을 수임할 수 있도록 허용해야 합니다.

SageMaker AI 에이전트 스킬 개요

SageMaker AI 에이전트 스킬은 Agent Skills 오픈 포맷을 준수하며, 모델 커스터마이징 수명 주기 전반을 다루는 9가지 모듈식 스킬로 구성됩니다.

Use Case Specification (사용 사례 명세): 비즈니스 문제, 사용자, 성공 기준을 정의하는 구조화된 탐색. (구성 단계)
Planning (계획): 사용 사례에 맞춘 동적이고 다단계적인 커스터마이징 계획 생성. (기획 단계)
Fine-tuning Setup (파인튜닝 설정): SageMaker AI Hub에서 기본 모델을 선택하고 기법(SFT, DPO, RLVR) 추천. (구성, 학습 단계)
Dataset Evaluation (데이터셋 평가): 학습 전 데이터셋 형식 및 스키마 유효성 검증. (평가, 학습 단계)
Dataset Transformation (데이터셋 변환): ML 데이터 형식(OpenAI Chat, SageMaker AI, Hugging Face, Amazon Nova) 간 변환. (데이터 엔지니어링)
Fine-tuning (파인튜닝): SageMaker AI 서버리스 파인튜닝을 위한 학습 노트북 생성. (학습 단계)
Model Evaluation (모델 평가): 내장 및 사용자 지정 메트릭을 사용한 LLM-as-a-Judge 평가 구성. (평가 단계)
Model Deployment (모델 배포): 배포 경로(SageMaker AI 엔드포인트 또는 Bedrock) 결정 및 코드 생성. (배포 단계)

코딩 에이전트(Kiro, Claude Code 등)는 대화형 인터페이스를 제공하며, SageMaker AI 스킬은 워크플로우를 조율합니다.

사용자가 코딩 에이전트와 상호 작용하면 관련 스킬이 활성화되어 SageMaker AI API 호출, S3 데이터 소스 접근, 모델 레지스트리 상호 작용 등을 수행합니다.

각 단계별 실행 코드가 포함된 Jupyter 노트북이 생성되어 기존 ML 파이프라인에 통합됩니다.

지원되는 파인튜닝 기법

현재 모델 커스터마이징 스킬은 세 가지 파인튜닝 기법을 지원하며, 사용 사례에 따라 적절한 기법을 추천합니다.

SFT (Supervised Fine-Tuning): 입력/출력 쌍으로 학습. 작업별 행동(지시 따르기, 형식 준수, 도메인 맞춤 응답)에 적합.
DPO (Direct Preference Optimization): 선호되는 출력과 거부되는 출력으로 학습. 인간의 판단에 맞춰 톤, 스타일, 주관적 선호도 정렬에 사용.
RLVR (Reinforcement Learning with Verifiable Rewards): 코드 기반 보상 함수를 사용하여 학습. 정확성이 프로그래밍 방식으로 검증될 수 있는 작업에 적합.

솔루션 구현: 임상 추론 모델 개발

본 예시에서는 FreedomIntelligence/medical-o1-reasoning-SFT 데이터셋으로 소형 언어 모델(SLM)을 파인튜닝하여 임상 추론 모델을 구축합니다.

이 모델은 진단을 제공하기 전에 의료 사례를 단계별로 분석합니다.

이는 파인튜닝이 범용 모델을 특정 도메인 추론 작업에 특화시키는 방법을 보여줍니다.

SageMaker AI는 SFT, DPO, RLVR 등 다양한 기법에 대한 샘플 데이터셋 라이브러리를 제공하여 새로운 사용 사례 개발을 지원합니다.

시작하기

SageMaker AI Studio에서 JupyterLab 환경을 열거나 생성한 후, 왼쪽 탐색 패널의 Spaces로 이동하거나 모델 허브에서 ‘Customize with agent’를 클릭합니다.

‘Create Space’를 클릭하고 JupyterLab을 애플리케이션으로 선택하거나, JupyterLab을 포함하는 기존 Space를 엽니다.

Kiro 에이전트를 사용하려면 채팅 패널에서 안내하는 인증 절차를 따릅니다.

Claude Code와 같은 다른 에이전트를 사용하려면 해당 에이전트의 통합 절차를 진행합니다.

https://aws.amazon.com/blogs/machine-learning/agent-guided-workflows-to-accelerate-model-customization-in-amazon-sagemaker-ai/