AI 에이전트가 코드를 실험하고 개선하는 법

네이버 사내 기술 교류 행사인 NAVER ENGINEERING DAY 2026 에서 발표되었던 세션을 공개합니다.

[발표 내용]
Karpathy의 AutoResearch 방법론을 라이브 스트리밍에 적용하여, AI 에이전트가 코드를 자율적으로 수정·빌드·실험·판정하는 루프를 구축하고 스트리밍 품질(QoE)을 17% 개선한 사례를 소개합니다.

[발표 대상]
- 스트리밍/플레이어 개발에 관심 있는 엔지니어
- AI 에이전트를 실무 코드 최적화에 활용하고 싶은 개발자
- ABR, QoE, LL-HLS 등 미디어 기술을 처음 접하는 엔지니어

[목차]
- EPISODE 1. 왜 시작했나
  - 라이브 스트리밍 시장과 저지연의 과제
  - 학계 SOTA vs 산업 현실 — EWMA에 머물러 있는 hls.js
  - QoE — 이 실험의 유일한 점수판
  - 사람이 직접 튜닝하면 드는 비용
- EPISODE 2. 어떻게 만들었나
  - Karpathy Agent Loop와 7가지 비타협 원칙 
  - 자율 루프 9 Phase
  - 계층적 검증
  - Regression Guard — 통계적 엄격성과 Context Rot 방지
  - 에이전트의 3중 기억 장치 소개
  - 실험 인프라 소개
- EPISODE 3. 무슨 일이 있었나
  - 실험 전체 iteration 맵
  - 주요 keep 분석
  - 주요 실패 분석
  - HALT 케이스 분석
- EPISODE 4. 무엇을 얻었나
  - 최종 결과 — 7개 전체 시나리오 개선
  - 5시간 사람 / 60시간 AI = 12배 레버리지
  - 한계와 다음 단계
  - Take-away