AI 에이전트 추적은 일반 API 추적과 무엇이 다른가

일반 HTTP API는 요청 하나가 몇 개의 서비스 span으로 끝나는 경우가 많다. AI 에이전트는 한 요청 안에서 모델이 계획을 세우고, 여러 도구를 호출하고, 결과가 부족하면 모델을 다시 부르는 반복 구조를 가진다. 최종 응답은 성공했어도 중간 검색이 세 번 실패했거나 불필요한 모델 재호출로 비용이 커졌을 수 있다.

OpenAI Agents SDK 공식 문서는 기본 trace가 runner, task, turn, agent, generation, function tool, guardrail, handoff span을 포함한다고 설명한다. 특정 SDK를 쓰지 않더라도 이 계층은 실무 설계의 좋은 기준이 된다. 핵심은 로그 줄을 시간순으로 모으는 것이 아니라 어떤 단계가 어떤 부모 작업에서 파생됐는지 보존하는 데 있다.

먼저 정할 최소 span 구조

처음부터 모든 이벤트를 수집하면 비용과 개인정보 위험만 커진다. 아래 다섯 단계로 시작하면 대부분의 운영 질문에 답할 수 있다. 에이전트가 검색을 쓰지 않으면 retrieval span은 생략하고, 여러 도구를 병렬 실행한다면 같은 부모 아래에 형제 span으로 둔다.

W3C Trace Context의 traceparent를 서비스 경계에서 전달하면 웹 API, 작업 큐, 도구 서버가 같은 분산 trace에 참여할 수 있다. 다만 대화 전체를 하나의 무한히 긴 trace로 만들기보다 사용자 요청 단위 trace와 별도의 가명 session key를 함께 쓰는 편이 조회와 보존에 유리하다.

속성은 표준·조직·민감정보로 나눠 관리한다

OpenTelemetry 공식 사이트의 GenAI 의미 규약 페이지는 2026년 8월 현재 관련 규약이 별도 semantic-conventions-genai 저장소로 이동했다고 안내한다. 새 저장소에는 agent, inference, tool, retrieval 등 span 문서와 참조 시나리오가 있다. 아직 변할 수 있는 이름을 애플리케이션 곳곳에 직접 쓰면 업그레이드 비용이 커진다.

Langfuse 공식 OpenTelemetry 문서도 GenAI 속성 규약이 진화 중이며 수신 OTel trace를 자체 데이터 모델로 매핑한다고 밝힌다. 또한 baggage는 서비스와 외부 API 경계를 따라 전파되므로 비밀번호, API 키, 개인정보를 넣지 말라고 경고한다. 검색 필터 편의를 위해 민감값을 baggage에 넣는 설계는 피해야 한다.

Python에서 최소 추적을 붙이는 순서

다음 코드는 특정 LLM 프레임워크 자동 계측에 기대지 않고 구조를 이해하기 위한 최소 예시다. OpenTelemetry Python 공식 문서의 TracerProvider, BatchSpanProcessor, current span 구조를 따른다. app.* 속성은 이 글의 조직 예시이며 공식 GenAI 속성으로 오해하면 안 된다.

from opentelemetry import trace
from opentelemetry.sdk.trace import TracerProvider
from opentelemetry.sdk.trace.export import BatchSpanProcessor
from opentelemetry.exporter.otlp.proto.http.trace_exporter import OTLPSpanExporter

provider = TracerProvider()
provider.add_span_processor(
    BatchSpanProcessor(OTLPSpanExporter())
)
trace.set_tracer_provider(provider)
tracer = trace.get_tracer("agent-service")

with tracer.start_as_current_span("agent.request") as root:
    root.set_attribute("app.route", "support-agent")

    with tracer.start_as_current_span("agent.model_call") as model_span:
        model_span.set_attribute("app.model", selected_model)
        result = call_model(messages)
        model_span.set_attribute("app.input_tokens", result.input_tokens)
        model_span.set_attribute("app.output_tokens", result.output_tokens)

    with tracer.start_as_current_span("agent.tool_call") as tool_span:
        tool_span.set_attribute("app.tool", "knowledge_search")
        docs = search_knowledge(result.query)

1. 개발 환경에서 console exporter로 구조를 먼저 확인한다. 부모·자식 관계가 끊기지 않는지 본다.
2. OTLP exporter를 Collector 또는 관측 백엔드에 연결한다. 애플리케이션이 각 제품의 전용 전송 코드를 직접 갖지 않게 한다.
3. 모델·도구 wrapper 한 곳에서 속성을 정규화한다. 프레임워크가 바뀌어도 대시보드 키를 유지한다.
4. 오류와 재시도를 이벤트 또는 span 상태로 남긴다. 최종 성공만 기록하면 숨은 실패 비용을 놓친다.
5. 샘플링과 보존 기간을 부하 테스트로 결정한다. trace 자체가 서비스 병목이 되지 않는지 확인한다.

운영 대시보드는 다섯 지표부터 만든다

대시보드에 모든 속성을 올리기보다 장애와 비용 결정을 직접 바꾸는 지표를 먼저 둔다. 아래 경보선은 제품 공식값이 아니라 초기 운영을 위한 예시다. 서비스의 정상 기준선을 수집한 뒤 조정해야 한다.

토큰 단가를 연결할 때는 모델과 컨텍스트 구간, 캐시 읽기·쓰기, Batch 여부에 따라 가격표가 달라질 수 있다. 따라서 span에는 계산된 비용만 남기기보다 provider, model, 입력·출력·캐시 토큰을 보존하고 비용 계산기를 별도 버전으로 관리하는 편이 감사와 재계산에 유리하다.

개인정보와 비용 때문에 실패하는 지점

• 프롬프트 원문 기본 수집: 고객 정보, 소스코드, API 키가 trace 백엔드로 복제될 수 있다. 메타데이터 우선 원칙을 적용한다.
• 모든 span 100% 장기 보존: 트래픽과 도구 호출 수가 늘면 저장·인덱싱 비용이 빠르게 커진다. 정상 요청은 head sampling, 오류·고지연은 tail sampling을 검토한다.
• 비동기 경계의 context 손실: 큐 worker와 병렬 도구 실행에서 부모 context를 전달하지 않으면 trace가 여러 조각으로 갈라진다.
• 속성의 무제한 cardinality: 원문 URL, 사용자 ID, 임의 오류 메시지를 인덱스 필드로 쓰면 조회 비용이 커진다. 정규화한 코드와 제한된 분류를 쓴다.
• 관측 백엔드 실패의 서비스 전파: exporter는 batch와 짧은 timeout을 쓰고, 추적 전송 실패 때문에 사용자 요청까지 실패하지 않게 분리한다.

OpenAI Agents SDK 문서는 추적이 기본 활성화될 수 있고, 전역 환경변수·코드·개별 실행 설정으로 끌 수 있다고 안내한다. 또한 Zero Data Retention 정책을 쓰는 조직에는 해당 trace 기능을 사용할 수 없다고 명시한다. 사용하는 SDK의 기본값과 데이터 정책을 배포 전에 반드시 확인해야 한다.

도입 단계별 체크리스트

이미 개념과 제품 선택부터 정리해야 한다면 AI 에이전트 관측성 가이드와 Langfuse·LangSmith·Phoenix·OpenTelemetry 비교를 먼저 보는 편이 낫다. 비용 분석까지 확장하려면 AI 에이전트 비용 추적 가이드를 함께 연결하면 된다.

FAQ

로그와 trace를 둘 다 남겨야 하나

둘의 역할이 다르다. trace는 요청의 단계와 부모·자식 관계, 지연을 보여주고 로그는 상세 사건과 디버그 문맥을 제공한다. 로그에 trace_id와 span_id를 넣어 상호 이동할 수 있게 만드는 구성이 실용적이다.

프롬프트와 응답을 저장하지 않으면 디버깅이 불가능하지 않나

대부분의 운영 장애는 모델명, 지연, 토큰, 도구 입력의 분류, 상태, 오류 코드만으로도 1차 진단이 가능하다. 원문이 꼭 필요한 평가 환경은 별도 동의, 마스킹, 접근 제어, 짧은 보존 기간을 적용해 분리한다.

OpenTelemetry만 설치하면 AI 비용도 자동으로 계산되나

그렇지 않다. OpenTelemetry는 신호와 context를 수집·전송하는 기반이다. 모델별 단가와 캐시·컨텍스트 구간을 반영한 비용 계산 로직 또는 이를 지원하는 백엔드가 별도로 필요하다.

trace는 요청마다 하나가 좋은가, 대화마다 하나가 좋은가

일반적으로 사용자 요청마다 trace를 만들고 가명 session 또는 thread 키로 여러 trace를 묶는 편이 낫다. 대화 전체를 하나의 장기 trace로 만들면 크기, 시간 제한, 조회가 복잡해진다.

가장 먼저 경보로 만들 지표는 무엇인가

오류율과 요청 p95 지연을 먼저 두고, 모델 호출 횟수와 요청당 토큰을 추가하는 순서가 현실적이다. 도구가 핵심인 서비스라면 도구별 오류·재시도율도 첫 단계에 포함한다.

참고 자료

• OpenTelemetry GenAI Semantic Conventions 저장소
• OpenTelemetry GenAI Agent Spans
• OpenTelemetry Python Instrumentation
• OpenAI Agents SDK Tracing
• Langfuse OpenTelemetry 문서
• W3C Trace Context

문서 확인 기준일은 2026년 8월 24일이다. OpenTelemetry GenAI 의미 규약은 진화 중이므로 실제 적용 전 저장소의 최신 상태와 사용하는 SDK·백엔드의 지원 범위를 다시 확인해야 한다.

The post AI 에이전트 추적 실무: OpenTelemetry로 지연·토큰·도구 호출 연결하기 appeared first on .

네 도구의 역할은 완전히 같지 않다

Langfuse·LangSmith·Phoenix는 trace를 저장하고 탐색하며 평가와 운영 화면을 제공하는 플랫폼이다. 반면 OpenTelemetry는 애플리케이션에서 span·metric·log를 만들고 OTLP로 보내기 위한 계측 규약과 SDK·Collector 생태계다. 따라서 “OpenTelemetry와 Langfuse 중 하나”보다 “OpenTelemetry로 계측하고 Langfuse나 Phoenix로 본다”는 조합이 더 자연스러울 수 있다.

Langfuse: 자체 호스팅과 통합 기능의 균형

Langfuse는 관측, 프롬프트 버전 관리, 평가를 같은 플랫폼에 넣는다. 공식 문서는 Python·JavaScript SDK, 다수의 프레임워크 통합, OpenTelemetry, LiteLLM 같은 게이트웨이를 통한 trace 수집을 안내한다. 세션과 사용자 단위로 비용·사용량을 묶고 에이전트 그래프와 타임라인을 보는 흐름도 갖춘다.

2026년 8월 18일 공식 가격표 기준 Langfuse Cloud Hobby는 월 5만 unit과 30일 데이터 접근을 포함한 무료 구간이다. Core는 월 29달러에 10만 unit과 90일 데이터 접근을 포함하며 초과분은 10만 unit당 8달러로 안내한다. Pro는 월 199달러와 3년 데이터 접근을 제시한다. unit 정의와 이벤트 크기에 따라 실제 비용이 달라지므로 “trace 개수”만으로 예산을 잡으면 안 된다.

자체 호스팅은 라이선스 비용을 줄일 수 있지만 무료 운영을 뜻하지 않는다. trace 본문에는 프롬프트, 검색 문서, 도구 입력·출력이 들어가므로 데이터베이스 용량, 객체 스토리지, 백업, 암호화, 버전 업그레이드 비용을 함께 계산해야 한다.

LangSmith: SaaS로 빠르게 운영 루프를 만들 때

LangSmith 공식 문서는 개별 trace 탐색뿐 아니라 대시보드, 알림, 규칙·웹훅 자동화, 온라인 평가, 사람 피드백 큐를 한 흐름으로 제공한다. LangChain 전용으로 오해하기 쉽지만 OpenAI, Anthropic, CrewAI, Vercel AI SDK, Pydantic AI 등 여러 통합을 안내한다.

현재 가격표의 Developer는 좌석당 0달러이며 월 5천 base trace 이후 사용량 과금 구조다. Plus는 좌석당 월 39달러에 월 1만 base trace를 포함한다. Enterprise에는 자체 호스팅·하이브리드 배포, SSO와 세분화된 권한 기능이 표시돼 있다. 팀이 빨리 시작하기는 쉽지만 trace·저장·좌석이 각각 어떤 단위로 늘어나는지 부하 테스트 데이터로 확인해야 한다.

데이터를 외부 SaaS로 보낼 수 없는 환경이라면 도입 속도보다 반출 정책이 우선이다. 프롬프트와 검색 결과에 개인정보나 영업 비밀이 섞일 수 있으므로 저장 전 마스킹과 payload 샘플링을 애플리케이션 계층에서 적용해야 한다.

Phoenix: OTLP 기반 로컬 분석과 평가 실험

Arize Phoenix는 OpenTelemetry 위에서 동작하며 OpenInference 계측을 사용한다. 공식 문서에 따르면 trace는 모델 호출, 검색, 도구 사용, 사용자 로직을 한 실행으로 묶는다. OTLP 수신과 함께 LlamaIndex, LangChain, DSPy, Mastra, Vercel AI SDK, OpenAI, Bedrock, Anthropic 등에 대한 자동 계측을 제공한다.

평가는 LLM 기반 평가자, 코드 기반 검사, 사람 라벨을 trace와 span에 붙이는 방식이다. Ragas·DeepEval 같은 외부 평가 도구도 연결할 수 있다. 로컬에서 RAG 검색 실패를 살피고 데이터셋 실험으로 이어가려는 팀에 특히 잘 맞는다. 다만 노트북에서 잘 보이는 것과 다중 사용자 운영은 다른 문제다. 인증, RBAC, 데이터 보존, 백업, 고가용성을 별도 체크리스트로 다뤄야 한다.

OpenTelemetry: 도구 교체 비용을 줄이는 수집 계층

OpenTelemetry의 Generative AI semantic conventions에는 에이전트 span, 모델·제공자별 span, 이벤트와 metric을 표현하는 항목이 정리돼 있다. 이 규약으로 계측하면 애플리케이션 코드가 특정 관측 제품의 데이터 모델에 깊게 묶이는 문제를 줄일 수 있다.

하지만 표준 속성을 붙였다고 운영 화면이 자동으로 생기지는 않는다. Collector의 메모리 제한, 배치 전송, 재시도, 백프레셔, 민감정보 필터, 샘플링을 설계해야 하고, 실제 저장·검색·알림을 담당할 백엔드도 필요하다. 소규모 서비스는 완성형 플랫폼으로 먼저 문제를 정의한 뒤 OTLP export를 병행하는 편이 과도한 초기 설계를 피하기 쉽다.

도입 전에 반드시 정할 데이터 스키마

도구 화면보다 먼저 “실패한 사용자 작업 하나를 어떻게 찾을 것인가”를 정해야 한다. 최상위 trace는 사용자 목표 한 건으로 잡고 모델 호출, 검색, 도구 실행, 승인 단계를 자식 span으로 둔다. 이는 기존 AI 에이전트 관측성 가이드와 AI 에이전트 비용 추적 가이드의 운영 모델을 실제 제품 선택에 연결하는 핵심이다.

1. 식별자: trace_id, session_id, user_id, team_id, project_id, environment를 넣는다.
2. 모델 호출: provider, model, input/output token, cache read/write, latency, retry를 분리한다.
3. 도구 실행: tool_name, duration, status, error_type, approval 여부를 기록한다.
4. 품질: 정답성, 근거성, 도구 선택, 정책 위반 여부를 평가 점수로 붙인다. 평가 설계는 AI Evals 실무 가이드처럼 작은 대표 질문 세트부터 시작한다.
5. 비용: 성공 실행당 비용과 실패 비용을 분리하고 가격표 버전을 보존한다.

2주 파일럿 절차

실패하기 쉬운 조건

• 모든 프롬프트와 검색 문서를 무제한 저장해 비용과 보안 위험이 함께 커진다.
• trace 이름과 속성이 팀마다 달라 대시보드 집계가 깨진다.
• 성공률만 보고 결과 품질과 사람 승인 거부율을 측정하지 않는다.
• LLM 비용만 기록하고 검색 API, 브라우저, 코드 샌드박스, 재시도 비용을 뺀다.
• 자체 호스팅을 선택하면서 백업·업그레이드·보존 정책의 운영 인건비를 0원으로 계산한다.

FAQ

LangChain을 쓰지 않아도 LangSmith를 쓸 수 있나?

쓸 수 있다. 공식 문서는 여러 모델 제공자와 에이전트 프레임워크 통합을 안내한다. 다만 현재 코드의 계측 난이도와 필요한 SDK 변경량은 파일럿에서 확인해야 한다.

OpenTelemetry만 설치하면 AI 에이전트 관측이 끝나나?

끝나지 않는다. OpenTelemetry는 수집과 전송의 표준 계층이다. trace 검색, 비용 계산, 평가, 알림, 보존을 담당할 백엔드와 운영 규칙이 별도로 필요하다.

처음에는 어떤 도구로 시작하는 편이 좋은가?

외부 SaaS 사용이 가능하면 LangSmith나 Langfuse Cloud로 2주 파일럿을 빠르게 돌리는 편이 단순하다. 데이터 반출이 어렵거나 로컬 RAG 분석이 중심이면 Langfuse 자체 호스팅이나 Phoenix를 먼저 검토한다. 어떤 선택이든 OTLP export 가능성과 데이터 내보내기 경로를 확인해야 한다.

참고 자료

• Langfuse 공식 문서
• Langfuse Cloud 공식 가격표
• LangSmith Observability 공식 문서
• LangSmith 공식 가격표
• Arize Phoenix 공식 문서
• OpenTelemetry Generative AI semantic conventions

The post AI 에이전트 관측 도구 비교: Langfuse vs LangSmith vs Phoenix vs OpenTelemetry appeared first on .

핵심 요약: 최상위 trace는 사용자 작업 1건으로 잡고, 그 아래 LLM 호출과 도구 호출을 span으로 기록한다. 모든 trace에 팀·사용자·프로젝트·환경 태그를 붙인다. 비용은 입력·출력·cache read·cache write·reasoning 토큰을 분리해 계산하고, 외부 API와 재시도 비용까지 더한다. 대시보드는 총비용보다 실행당 비용, 성공 실행당 비용, 실패 비용, 캐시 적중률을 먼저 보여줘야 한다.

요청당 비용이 아니라 실행당 총원가를 봐야 한다

일반 챗봇은 사용자 메시지 한 번과 모델 호출 한 번이 비교적 가깝다. AI 에이전트는 한 작업 안에서 계획을 만들고, 여러 모델을 호출하고, 검색·브라우저·데이터베이스·코드 실행 도구를 사용하고, 실패하면 다시 시도한다. 한 번의 사용자 요청이 10개의 LLM 호출과 20개의 도구 호출로 늘어날 수 있다.

따라서 비용의 기본 단위를 HTTP 요청이나 모델 호출로 잡으면 업무 원가를 계산하기 어렵다. 가장 실용적인 단위는 다음 세 단계다.

기존 AI 에이전트 관측성 가이드가 trace 설계와 운영 안전성을 설명했다면, 이 글은 trace에 비용 데이터를 붙여 원가와 예산을 통제하는 방법에 집중한다.

AI 에이전트 총비용 계산식

에이전트 실행 1건의 총비용은 다음 네 항목을 합쳐 계산한다.

실행 총비용 = LLM 비용 + 도구·검색 비용 + 재시도·낭비 비용 + 인프라·관측 비용

1. LLM 비용

LLM 비용도 단순히 전체 입력 토큰에 입력 단가를 곱하면 안 된다.

• 일반 입력 토큰
• cache read 입력 토큰
• cache write 또는 cache creation 토큰
• 출력 토큰
• reasoning 출력 토큰
• 이미지·오디오·영상 입력
• Batch·Priority·Long context 같은 별도 요율

제공자마다 캐시 분류와 과금 방식이 다르므로 input_tokens 하나로 합쳐 저장하면 나중에 정확한 재계산이 어렵다. 모델별 최신 단가와 캐시 차이는 2026년 하반기 LLM 비교에서 확인할 수 있다.

2. 도구·검색 비용

에이전트가 호출하는 외부 도구도 원가에 포함한다.

• 웹 검색 API와 크롤링 서비스
• 지도·번역·OCR·음성 API
• 벡터 데이터베이스 검색·저장
• 브라우저 실행과 샌드박스 컴퓨팅
• 코드 인터프리터·GPU 작업
• 문자·메일·결제·업무 SaaS API

도구가 무료 티어에 들어가더라도 호출 횟수와 사용량은 기록해야 한다. 무료 한도를 넘는 순간 비용 구조가 바뀌고, 공급자가 요금제를 변경했을 때 과거 사용량으로 영향을 계산해야 하기 때문이다.

3. 재시도와 낭비 비용

실패 후 같은 프롬프트를 다시 호출한 비용, 잘못된 도구 인자로 반복 실행한 비용, 종료 조건 없이 루프를 돈 비용은 모델 청구서에는 정상 사용량으로 표시된다. 운영 관점에서는 별도 낭비 비용이다.

다음 값을 구분한다.

• 최초 시도 비용
• 자동 재시도 비용
• 오류 복구 비용
• 사용자 취소 이후 발생한 비용
• 실패로 끝난 실행의 전체 비용
• 평가·검증 모델의 추가 비용

4. 인프라와 관측 비용

자체 호스팅 모델의 GPU 비용뿐 아니라 trace 저장소, 로그, 객체 스토리지, 데이터 웨어하우스와 대시보드 비용도 포함한다. SaaS 관측성 도구가 이벤트 수나 보존 기간에 따라 과금된다면 에이전트 실행 원가에 배부해야 한다.

월 44,000회 실행 비용 계산 예시

다음은 특정 모델 추천이 아니라 계산 구조를 설명하기 위한 가상 단가 예시다.

캐시가 없으면 실행당 LLM 비용은 $0.06, 월 $2,640이다. 입력의 절반이 cache hit라면 실행당 $0.042, 월 $1,848로 내려가 $792, 30%를 절감한다.

하지만 최종 원가는 여기서 끝나지 않는다.

완료 실행 1건당 총원가는 약 $0.054다. 모델 호출비 외 항목은 $529.84로 전체의 약 22.3%다. 모델 공급자 대시보드만 봤다면 이 비용을 제품 원가에서 놓치게 된다.

반드시 기록해야 할 비용 필드

OpenTelemetry의 GenAI semantic conventions는 2026년 7월 기준 별도 semantic-conventions-genai 저장소로 이동했으며 상태가 Development다. 속성명은 바뀔 수 있으므로 버전을 고정하고 변경 이력을 확인해야 한다.

tenant_id, team_id, 가격과 비용 필드는 조직별 custom attribute로 설계할 수 있다. OpenTelemetry 표준 속성과 자체 속성을 구분하고 접두어 규칙을 정해야 한다.

프롬프트·응답 전문을 저장하지 않아도 비용 추적은 가능하다. 개인정보와 소스코드 유출이 우려되면 본문은 마스킹하거나 저장하지 않고 토큰 수, 모델, 도구명, 상태와 비용만 남긴다.

가격표는 호출 시점에 버전으로 저장한다

비용을 조회할 때 현재 가격표를 과거 토큰에 곱하면 안 된다. 모델 가격, 캐시 할인, Long context 기준과 공급자 티어는 바뀐다. 호출 시점에 다음 정보를 함께 저장하는 편이 안전하다.

• 적용한 모델 가격표 버전과 유효일
• 요청 모델과 공급자가 반환한 실제 모델
• Standard·Batch·Priority 같은 요금 티어
• Short·Long context 구간
• cache read·cache write 단가
• 통화와 환율 기준일
• 추정 비용인지 공급자 확정 비용인지

실시간 대시보드는 추정 비용으로 빠르게 보여주고, 하루 한 번 공급자 usage·청구 데이터와 대조해 확정 비용을 보정할 수 있다. 둘 사이 차이는 반올림, 지연 집계, 공유 캐시, 무료 크레딧, 약정 할인과 공급자별 토큰 분류에서 발생한다.

팀·사용자·프로젝트별 비용 배부

배부 태그는 Gateway나 에이전트 진입점에서 강제로 붙여야 한다. 개발자가 각 모델 호출마다 직접 넣게 하면 누락이 생긴다.

권장 배부 계층

1. Tenant 또는 고객사: B2B 서비스의 고객별 원가와 마진
2. Team: 부서·개발팀별 예산
3. Project 또는 기능: 코드 리뷰, 문서 생성, 고객지원 같은 기능별 원가
4. User: 과도한 사용과 교육 필요 사용자 식별
5. Agent·Workflow·Version: 버전 변경 전후 비용 비교
6. Environment: production, staging, eval 비용 분리

예를 들어 같은 고객지원 에이전트라도 refund-agent:v3가 v2보다 성공률은 2% 높지만 실행당 비용이 40% 늘었다면 품질 개선과 원가 상승을 함께 판단할 수 있다. 총 토큰만 보면 이 의사결정이 불가능하다.

AI Gateway를 통과하도록 구성하면 모델 키, 라우팅, 공통 태그와 비용 제한을 한 지점에서 적용하기 쉽다.

도구별 역할: 하나로 모두 해결하려 하지 않는다

선택은 “가장 많은 기능”보다 통제 위치에 따라 달라진다.

• 모델 호출 전에 예산을 막아야 한다면 LiteLLM·Cloudflare 같은 Gateway 계층이 필요하다.
• 실행 원인과 품질을 분석하려면 Langfuse·LangSmith·Phoenix 같은 trace backend가 필요하다.
• 제품 종속을 줄이고 여러 backend로 보내려면 OpenTelemetry Collector를 중간에 둔다.
• 작은 팀은 Gateway 1개와 관측성 backend 1개로 시작하는 편이 운영 부담이 낮다.

비용 대시보드에 넣을 10개 패널

월간 총비용만 크게 표시한 대시보드는 원인을 알려주지 않는다. 최소한 다음 패널이 필요하다.

1. 총비용과 전일·전주 대비 증감
2. 성공 실행당 평균·P50·P95 비용
3. 실패 실행과 취소 실행의 비용
4. 팀·고객·프로젝트별 비용
5. 모델·공급자·요금 티어별 비용
6. 일반 입력·cache read·cache write·출력 토큰 비중
7. Cache hit 비율과 절감 추정액
8. 도구별 호출 수·성공률·외부 API 비용
9. 에이전트 iteration·retry 분포
10. 품질 점수 대비 비용

평균만 보면 소수의 폭주 실행을 놓칠 수 있다. P95 실행 비용, 하루 최대 실행 비용과 상위 20개 비싼 trace를 바로 열 수 있어야 한다.

예산 알림과 무한 루프 차단 기준

비용 통제는 월말 보고서보다 실행 중 제한이 중요하다.

숫자는 서비스 위험도와 마진에 맞춰 정해야 한다. 결제·배포·데이터 삭제 같은 중요한 작업을 예산 때문에 중간에 강제 종료하면 더 큰 장애가 날 수 있다. hard cap은 안전하게 재개할 수 있는 작업에 적용하고, 중요한 작업은 승인·fallback·grace budget을 둔다.

최소 비용 추적 도입 순서

1단계: 공통 식별자와 토큰 기록

사용자 작업 하나에 trace_id와 run_id를 만들고 모든 LLM·도구 호출에 전파한다. provider, request model, response model, 입력·출력·캐시 토큰을 기록한다.

2단계: 가격 계산기와 버전 추가

모델별 가격표를 코드에 흩어놓지 않고 중앙 cost map으로 관리한다. 가격 버전, 통화, 요금 티어와 estimated cost를 span에 붙인다.

3단계: 조직 배부 태그 강제

Gateway나 공통 SDK에서 tenant, team, user, project, environment, agent version을 필수화한다. 태그가 없으면 production 호출을 거부하거나 unallocated 비용으로 따로 집계한다.

4단계: 도구·재시도 비용 연결

외부 API 호출 span에 단가와 사용량을 붙인다. retry count, iteration, error type과 termination reason을 기록해 실패 비용을 분리한다.

5단계: 대시보드와 알림

총비용, 성공 실행당 비용, 실패 비용, cache hit, P95 비용과 상위 고비용 trace를 먼저 만든다. 이후 팀 예산과 실행당 상한을 적용한다.

6단계: 공급자 청구서와 대조

매일 provider usage와 내부 추정 비용을 비교한다. 차이가 일정 수준을 넘으면 가격표·모델 매핑·캐시 분류·시간대 기준을 점검한다.

운영 체크리스트

• 사용자 목표 1건을 하나의 trace로 묶었는가
• 모든 모델·도구 호출에 같은 run ID가 전파되는가
• request model과 response model을 분리했는가
• 일반 입력·cache read·cache creation·출력을 구분했는가
• reasoning·이미지·오디오 사용량을 별도로 기록하는가
• 외부 검색·브라우저·DB·GPU 비용을 포함했는가
• retry·iteration·실패 비용을 분리했는가
• 팀·사용자·프로젝트·환경 태그가 필수인가
• 가격표 버전과 요금 티어를 저장하는가
• 실시간 추정액을 공급자 청구 데이터와 대조하는가
• 프롬프트 전문 없이도 비용 분석이 가능한가
• 실행당 budget과 무한 루프 제한이 있는가

FAQ

AI 에이전트 비용 추적과 일반 LLM 비용 추적은 무엇이 다른가?

일반 LLM 비용 추적은 모델 호출별 토큰과 금액을 본다. AI 에이전트 비용 추적은 하나의 사용자 목표 아래 여러 LLM 호출, 도구 실행, 재시도, 평가와 인프라 비용을 합쳐 실행 총원가를 계산한다.

OpenTelemetry만 도입하면 비용 계산이 끝나나?

아니다. OpenTelemetry는 trace와 GenAI 속성을 표준화하지만 제품별 가격표, 조직 배부, 외부 도구 단가와 예산 차단은 별도로 구현하거나 관측성·Gateway 제품을 연결해야 한다. GenAI semantic conventions도 2026년 7월 기준 Development 상태다.

Langfuse와 LiteLLM 중 무엇을 써야 하나?

역할이 다르다. Langfuse는 trace·평가·비용 분석 backend에 가깝고 LiteLLM은 모델 Gateway와 key·user·team 예산 통제에 강하다. 비용 차단과 원인 분석이 모두 필요하면 함께 사용할 수 있다.

프롬프트와 응답을 저장해야 비용을 계산할 수 있나?

필수는 아니다. 모델, 토큰 유형별 사용량, 도구명, 상태, 재시도와 가격 버전만으로 비용을 계산할 수 있다. 민감한 프롬프트는 마스킹하거나 저장하지 않는 편이 안전하다.

캐시 적중률이 높으면 비용도 같은 비율로 줄어드나?

아니다. 캐시 할인은 캐시된 입력 부분에만 적용된다. 출력, reasoning, cache write, 도구 API와 관측 비용은 그대로 남는다. 전체 절감률은 입력 비중과 cache read 단가에 따라 달라진다.

공급자 대시보드 금액과 내부 계산이 다른 이유는 무엇인가?

시간대, 집계 지연, 반올림, 무료 크레딧, 약정 할인, 실제 응답 모델, 캐시 분류와 가격표 버전 차이 때문이다. 내부 값은 실시간 통제를 위한 추정액으로 사용하고 공급자 usage·청구 데이터로 정기 보정해야 한다.

참고 자료

• OpenTelemetry GenAI Semantic Conventions Repository — GenAI span·agent·tool·token 속성 표준
• Langfuse Token & Cost Tracking — usage 유형과 모델 가격 기반 비용 계산
• LangSmith Cost Tracking — LLM·tool·retrieval custom cost와 대시보드
• Arize Phoenix Cost Tracking — span·trace·session·project 비용 롤업
• LiteLLM Spend Tracking — key·user·team별 spend 추적
• LiteLLM Budgets and Rate Limits — 개인·팀·에이전트 예산과 실행 제한
• Cloudflare AI Gateway Analytics — 요청·토큰·캐시·오류·비용 분석

*제품 기능과 문서 상태는 2026년 7월 29일 확인 기준이며 이후 변경될 수 있다.*

The post AI 에이전트 비용 추적 가이드: 토큰·캐시·도구 호출 비용을 팀별로 관리하는 법 appeared first on .

왜 AI 에이전트에는 별도 관측성이 필요한가

전통적인 웹 서비스 관측성은 요청, 응답 시간, 오류율, CPU, 메모리, 데이터베이스 쿼리를 중심으로 설계됐다. 그러나 AI 에이전트는 여기에 새로운 실행 단계를 추가한다. 사용자의 자연어 요청을 해석하고, 모델을 호출하고, 필요한 도구를 고르고, 파일이나 API를 조작하고, 실패하면 다시 시도한다. 같은 “요청 1건” 안에 여러 번의 LLM 호출과 여러 개의 도구 실행이 들어갈 수 있다.

문제는 실패 지점이 훨씬 다양해진다는 점이다. 모델이 요구사항을 잘못 이해했을 수도 있고, 도구 인자가 틀렸을 수도 있고, 권한 승인이 거절됐을 수도 있고, API rate limit에 걸렸을 수도 있고, 테스트 실패 후 복구 전략을 잘못 선택했을 수도 있다. 단순히 “500 오류가 났다”는 로그만으로는 원인을 설명하기 어렵다.

일반 서버 로그와 AI 에이전트 관측성의 차이

반드시 추적해야 할 9가지 항목

1. 작업 목표: 사용자가 무엇을 요청했는지, 에이전트가 어떤 목표로 해석했는지 기록한다.
2. 모델명과 버전: 같은 프롬프트라도 모델과 버전에 따라 결과가 달라진다.
3. 토큰 사용량과 비용: 입력 토큰, 출력 토큰, 캐시 사용량, 모델별 단가를 추적한다.
4. 도구 호출 이력: 파일 읽기, 파일 수정, 터미널 실행, 브라우저 조작, API 호출을 span 단위로 남긴다.
5. 도구 인자와 결과: 어떤 명령이나 API 파라미터가 실행됐고 어떤 결과가 돌아왔는지 확인 가능해야 한다.
6. 사용자 승인 이력: 위험한 명령, 외부 전송, 배포, 결제성 작업은 승인 여부와 시점을 남긴다.
7. 재시도와 복구 경로: 실패 후 같은 방식을 반복했는지, 다른 전략으로 전환했는지 확인한다.
8. 최종 산출물: 생성된 PR, 파일, 문서, 배포 URL, 테스트 결과를 trace와 연결한다.
9. 민감정보 처리 상태: 프롬프트와 응답에 개인정보, API 키, 내부 문서가 포함됐는지 마스킹 여부를 남긴다.

AI 에이전트 trace는 어떻게 설계해야 하나

가장 실용적인 방식은 사용자 요청 하나를 최상위 trace로 보고, 그 아래에 LLM 호출과 도구 실행을 span으로 나누는 구조다. OpenTelemetry는 trace, metric, log를 함께 다루는 관측성 표준이며, 최근에는 Generative AI semantic conventions를 통해 모델명, 토큰 사용량, 프롬프트 관련 이벤트, 응답 관련 속성을 표현하는 방향을 제시한다.

이 구조를 쓰면 “작업이 실패했다”가 아니라 “테스트 실행 span에서 실패했고, 이후 모델이 원인을 잘못 추론해 같은 명령을 반복했다”처럼 설명할 수 있다. 운영자는 모델 품질 문제, 도구 문제, 권한 문제, 외부 API 문제를 분리해 볼 수 있다.

비용 관측성은 별도 대시보드로 봐야 한다

AI 에이전트 비용은 사용자가 체감하기 전에 급격히 늘 수 있다. 특히 장기 작업, 대용량 컨텍스트, 반복 테스트, 멀티 에이전트 작업에서는 요청 1건이 여러 모델 호출로 쪼개진다. 그래서 단순 월별 API 청구액보다 작업 단위 비용을 보는 것이 중요하다.

보안 관측성: 무엇을 남기고 무엇을 지울 것인가

AI 에이전트 관측성에서 가장 위험한 함정은 “모든 프롬프트와 응답을 그대로 저장하면 디버깅이 쉬워진다”는 생각이다. 실제 운영 환경에서는 프롬프트 안에 고객 정보, 내부 코드, API 키, 장애 로그, 사내 문서가 섞일 수 있다. 관측성은 감사 가능성을 높여야 하지만, 동시에 새로운 정보 유출 경로가 되면 안 된다.

• API 키, 토큰, 비밀번호 패턴은 저장 전에 마스킹한다.
• 원문 프롬프트 저장은 기본값이 아니라 옵션으로 둔다.
• 고위험 도구 호출은 인자 전체보다 요약과 해시를 저장하는 방식을 검토한다.
• trace 접근 권한은 개발자 전체가 아니라 운영상 필요한 인원으로 제한한다.
• 보관 기간을 정하고 오래된 원문 로그는 삭제하거나 비식별화한다.

운영 성숙도별 도입 순서

개인 AI 에이전트 서버에도 필요한 이유

개인 맥미니나 홈서버에서 OpenClaw 같은 AI 에이전트 서버를 운영할 때도 관측성은 필요하다. 개인 환경에서는 대규모 SRE 조직이 없기 때문에 오히려 기록이 더 중요하다. 언제 어떤 모델이 어떤 파일을 읽고 수정했는지, 어떤 명령이 실패했는지, 비용이 어느 작업에서 늘었는지 알 수 없으면 문제를 재현하기 어렵다.

처음부터 복잡한 대시보드를 만들 필요는 없다. 작업 ID, 모델명, 토큰, 도구 호출, 오류, 최종 산출물 링크만 JSON 로그로 남겨도 출발점으로 충분하다. 이후 필요해지면 OpenTelemetry collector, Grafana, LangSmith, 자체 대시보드 같은 도구로 확장할 수 있다.

AI 에이전트 관측성 체크리스트

• 사용자 요청 하나에 고유한 작업 ID가 붙는가
• LLM 호출마다 모델명, 입력/출력 토큰, 비용이 남는가
• 도구 호출 인자와 결과가 trace 안에 연결되는가
• 파일 수정, 터미널 실행, 외부 API 호출은 별도 span으로 남는가
• 사용자 승인 여부와 승인 시점이 기록되는가
• 프롬프트와 응답 원문 저장 정책이 정해져 있는가
• 민감정보 마스킹이 저장 전에 적용되는가
• 실패 후 재시도 횟수와 복구 전략을 볼 수 있는가
• 최종 산출물과 테스트 결과가 작업 기록에 연결되는가

FAQ

AI 에이전트 관측성이 일반 로그와 다른 점은 무엇인가?

일반 로그가 서버 요청과 오류를 남기는 데 초점을 둔다면 AI 에이전트 관측성은 LLM 호출, 프롬프트, 도구 실행, 권한 승인, 비용, 재시도, 최종 산출물을 하나의 작업 흐름으로 연결해 추적한다.

AI 에이전트 운영에서 반드시 기록해야 할 지표는 무엇인가?

최소한 모델명, 토큰 사용량, 비용, 지연 시간, 도구 호출 성공률, 재시도 횟수, 사용자 승인 이력, 오류 원인, 최종 산출물 링크를 기록해야 한다.

프롬프트와 응답을 모두 저장해도 되는가?

항상 저장하면 위험하다. 개인정보, API 키, 내부 문서, 고객 데이터가 포함될 수 있으므로 마스킹, 샘플링, 보관 기간, 접근 권한을 먼저 정해야 한다.

OpenTelemetry만 쓰면 AI 에이전트 관측성이 완성되는가?

아니다. OpenTelemetry는 공통 추적 포맷과 파이프라인을 제공하지만, 어떤 이벤트를 남기고 어떤 실패를 경보로 볼지는 서비스 정책과 평가 기준으로 별도 설계해야 한다.

개인 AI 에이전트 서버에도 관측성이 필요한가?

필요하다. 개인 서버라도 모델 비용, 파일 수정 이력, 도구 호출 실패, 장기 작업 중단 원인을 확인할 수 없으면 운영과 디버깅이 어려워진다.

참고 자료

• OpenTelemetry Observability Primer
• OpenTelemetry Generative AI Semantic Conventions
• OpenAI Agents SDK Tracing
• Anthropic Claude Code Monitoring Usage
• LangSmith Observability

The post AI 에이전트 관측성 가이드: 로그만으로는 부족한 이유 appeared first on .