SNOW의 Automatic Sharding 도입기

네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2026 에서 발표되었던 세션을 공개합니다.
- English version: https://youtu.be/739upsjlaKM

[발표 내용]
수천 개의 서비스가 한정된 GPU 자원을 효율적으로 공유할 수 있도록 돕는 Automatic Sharding 기술을 소개하고, 모델 로딩 오버헤드를 제거하여 더 빠르고 안정적인 AI 모델 서빙 전략을 공유합니다.

[발표 대상]
다수의 AI 모델을 GPU 환경에서 운영하면서 운영 자동화를 고민하시는 분들

[목차]
1. SNOW AI 콘텐츠 서빙 구조와 Sharding 개념
2. Manual Sharding의 한계
3. Automatic Sharding 문제 정의
4. Automatic Sharding 알고리즘 설계
5. Automatic Sharding 결과를 실제 인프라에 자동으로 반영하는 방법
6. 안정적인 배포 전략
7. 도입 결과