AI튜터랩 로고AI튜터랩
블로그 목록
에이전트 개발

데모는 그만: 실패하지 않는 AI 에이전트 평가 루프

•읽는 시간 4분•조회 13

AI 에이전트 데모는 만들기 쉽습니다. 질문을 받고, 도구를 하나 호출하고, 그럴듯한 답을 보여주면 됩니다. 하지만 실제 사용자에게 공개하는 순간 상황이 달라집니다. 잘못된 도구를 고르고, 같은 작업을 반복하고, 권한 밖의 행동을 시도하거나, 답은 맞아 보여도 근거가 없는 경우가 생깁니다.

운영 가능한 에이전트의 차이는 모델 크기보다 실패를 발견하고 다시 발생하지 않게 만드는 평가 루프에서 생깁니다.

에이전트 품질은 최종 답변만 보면 안 된다

일반 챗봇은 입력과 출력만 평가해도 어느 정도 판단할 수 있습니다. 에이전트는 중간 과정이 더 중요합니다.

  • 올바른 도구를 선택했는가
  • 필요한 인자를 정확히 넣었는가
  • 도구 결과를 왜곡하지 않았는가
  • 위험한 행동 전에 승인을 받았는가
  • 실패 후 무한 반복하지 않았는가

OpenAI의 Agents SDK 문서는 트레이싱을 통해 모델 호출, 도구 호출, 핸드오프, 가드레일을 구조적으로 기록할 수 있다고 설명합니다. 이 기록이 있어야 “왜 실패했는지”를 재현할 수 있습니다.

가장 작은 평가 루프

다이어그램을 그리는 중입니다.

1. 실제 사례 20개부터 모은다

예쁘게 만든 예시보다 현장에서 실제로 들어오는 요청을 모으세요. 정상 요청, 모호한 요청, 권한이 필요한 요청, 데이터가 없는 요청을 섞어야 합니다.

2. 성공 기준을 관찰 가능한 문장으로 쓴다

“정확하게 답한다”는 채점하기 어렵습니다. “고객 ID를 확인한 뒤 주문 조회 도구를 한 번 호출하고, 환불 실행 전 승인을 요청한다”처럼 행동을 적어야 합니다.

3. 최종 답과 경로를 함께 평가한다

최종 답이 맞아도 잘못된 데이터 소스를 읽었다면 위험합니다. 반대로 중간에 오류가 있었지만 안전하게 멈추고 도움을 요청했다면 좋은 실패일 수 있습니다.

4. 실패 유형별로 고친다

  • 지시 문제: 프롬프트와 정책 수정
  • 도구 문제: 이름, 설명, 입력 스키마 개선
  • 지식 문제: 데이터 소스와 검색 범위 수정
  • 판단 문제: 모델 또는 라우팅 전략 조정
  • 운영 문제: 타임아웃, 재시도, 승인 절차 보강

가드레일은 ‘금지 문구’가 아니다

가드레일은 입력이나 출력, 도구 실행을 검사해 위험을 줄이는 장치입니다. 프롬프트에 “실수하지 마”라고 적는 것만으로는 부족합니다.

예를 들어 환불 에이전트라면 금액 한도, 사용자 확인, 승인 여부를 코드와 정책으로 검사해야 합니다. 개인정보가 포함된 출력은 별도 필터를 통과하게 하고, 외부 전송은 명시적 승인을 요구할 수 있습니다.

처음부터 측정할 지표 5개

  • 과제 성공률
  • 올바른 도구 선택률
  • 불필요한 도구 호출 수
  • 평균 처리 시간과 비용
  • 안전한 중단·승인 요청 비율

숫자 하나로 품질을 표현하려 하지 마세요. 성공률이 높아도 비용이 지나치게 크거나 안전한 승인 단계를 건너뛰면 운영하기 어렵습니다.

핵심 정리

  • 에이전트는 최종 답변뿐 아니라 도구 선택과 실행 경로를 평가해야 합니다.
  • 트레이싱은 실패를 재현하는 기록이고, grader는 정해진 기준으로 실행을 채점합니다.
  • 실패 원인을 프롬프트, 도구, 지식, 판단, 운영으로 나누면 수정 방향이 선명해집니다.
  • 가드레일은 프롬프트가 아니라 실행 단계의 통제까지 포함합니다.

실습: 20개 평가 세트 만들기

  1. 에이전트가 처리할 실제 요청 10개를 모읍니다.
  2. 모호한 요청 3개, 권한이 필요한 요청 3개, 실패해야 하는 요청 4개를 추가합니다.
  3. 각 요청에 기대 도구, 승인 필요 여부, 성공 답변 조건을 적습니다.
  4. 에이전트를 실행하고 추적 기록을 보며 실패 유형을 분류합니다.
  5. 한 가지를 수정한 뒤 같은 20개를 다시 실행해 회귀를 확인합니다.

참고 자료