정식 출시
SageMaker HyperPod의 관리형 계층 KV 캐시 및 지능형 라우팅 지원
Amazon SageMaker HyperPod는 이제 대규모 언어 모델 추론을 위한 관리형 계층 KV 캐시 및 지능형 라우팅을 지원하여 긴 컨텍스트 프롬프트 및 다단계 대화의 추론 성능을 최적화합니다.
- 대상
- 대규모 언어 모델 애플리케이션을 배포하는 고객
- 주요 기능
- 관리형 계층 KV 캐시, 지능형 라우팅
- 지원 리전
- SageMaker HyperPod 사용 가능한 모든 리전