AI 에이전트 추적 실무 가이드
AI 에이전트 추적 실무: OpenTelemetry로 지연·토큰·도구 호출 연결하기
AI 에이전트의 요청·모델·검색·도구 호출을 OpenTelemetry trace와 span으로 연결하는 방법을 정리했다. 최소 속성, Python 예시, 개인정보·비용·경보 체크리스트를 다룬다.
RAG 평가 실무 가이드
RAG 평가 실무 가이드: 검색 품질과 답변 품질을 분리하는 법
RAG 평가를 검색, 컨텍스트, 답변으로 분리해 Recall@K·MRR·nDCG·근거성·정확성을 측정하고 회귀 테스트로 운영하는 방법을 정리했다.
AI 에이전트 월간 총비용은 모델 호출비 외 재시도·도구·관측 비용까지 포함해야 한다.
출처: 월 44,000회 가정 자체 계산
출처: 월 44,000회 가정 자체 계산
AI 에이전트 비용 추적 가이드: 토큰·캐시·도구 호출 비용을 팀별로 관리하는 법
AI 에이전트의 토큰·캐시·도구 호출·재시도 비용을 실행 단위로 계산하고 팀·프로젝트별로 배부하는 방법을 정리했다.
AI Gateway는 여러 애플리케이션과 LLM 제공자 사이에서 인증, 라우팅, 비용 제한, 로깅, 보안 정책을 적용하는 중간 계층이다.
AI Gateway 비교 2026: Cloudflare vs LiteLLM, 운영 기준 7가지
Cloudflare AI Gateway와 LiteLLM Proxy를 2026년 9월 30일 공식 문서 기준으로 비교했다. 9월 24일 Cloudflare 로그 요금 정책 변경(신규 고객 Workers Logs 전환)과 LiteLLM v1.103.1까지의 갱신 내용, 운영 기준을 정리했다.
AI 에이전트 관측성은 LLM 호출, 도구 실행, 비용, 지연 시간, 실패 원인을 하나의 실행 흐름으로 연결해 보는 운영 체계다.
AI 에이전트 관측성 가이드: 로그만으로는 부족한 이유
AI 에이전트 운영에서는 서버 로그만으로 부족하다. LLM 호출, 도구 실행, 비용, 승인, 실패 원인을 하나의 trace로 연결해 추적하는 관측성 설계 방법을 정리한다.