AI튜터랩 로고AI튜터랩
블로그 목록
AI의 기초 및 원리

AI 답변이 매번 달라지는 이유: temperature 하나로 끝나지 않는다

•읽는 시간 6분•조회 11

요약: 같은 질문인데 AI 답변이 매번 달라지는 이유는 모델이 다음 단어 후보의 확률 분포에서 하나를 샘플링하기 때문입니다. temperature와 top_p의 역할을 구분하면, 창의적 글쓰기와 정확한 업무 자동화에 맞는 출력을 더 안정적으로 설계할 수 있습니다.

예상 읽기 시간: 6분

같은 프롬프트인데 왜 답이 달라질까?

같은 요청을 두 번 넣었는데 문장 순서나 표현이 달라진 경험이 있을 겁니다. AI는 답을 외워서 꺼내는 검색창이 아니라, 다음에 올 토큰 후보마다 확률을 계산하고 그중 하나를 선택하는 생성 모델입니다.

가장 높은 확률의 단어만 항상 고르면 답은 단조롭고 반복됩니다. 반대로 낮은 확률의 후보까지 자주 선택하면 신선한 표현은 늘지만, 사실과 형식이 흔들릴 수 있습니다. 이 선택 폭을 조절하는 대표 설정이 temperature와 top_p입니다.[1]

목표는 가장 낮은 temperature가 아닙니다. 업무의 실패 비용에 맞는 선택 폭을 고르는 것입니다.

핵심 원리: 확률 분포에서 한 토큰을 고른다

모델은 다음 토큰마다 가능한 후보와 확률을 만듭니다. 문장은 이 과정을 한 번만 거쳐 완성되는 것이 아니라, 선택된 토큰을 다시 입력에 붙여 다음 토큰을 계속 고르는 방식으로 만들어집니다. 그래서 초반의 작은 차이가 뒤 문장 전체의 차이로 커질 수 있습니다.

temperature와 top_p는 무엇이 다를까?

temperature: 확률 분포의 평평함을 조절한다

temperature를 낮추면 높은 확률 후보에 더 집중합니다. 요약, 분류, JSON 생성처럼 일관성이 중요한 업무에 어울립니다. 높이면 후보 간 차이가 완화되어 더 다양한 표현이 나올 수 있어, 아이디어 발상이나 카피 초안에 유리합니다. OpenAI 문서는 temperature가 높을수록 출력의 무작위성이 커진다고 설명합니다.[2]

top_p: 누적 확률 안에서 후보를 고른다

top_p는 누적 확률 질량이 지정된 범위 안에 드는 후보만 남기는 nucleus sampling 방식입니다. 예를 들어 0.1이면 확률이 높은 후보부터 합쳐 10%에 도달할 때까지의 후보만 고려합니다.[3]

두 설정은 같은 문제를 서로 다른 방식으로 만집니다. OpenAI 문서도 보통 둘 중 하나만 조절할 것을 권장합니다.[1]

바로 적용하는 설정 전략

정확한 형식이 필요한 업무

분류, 정보 추출, 자동화용 JSON처럼 출력이 다음 단계의 입력이 되는 업무라면 낮은 변동성을 우선하세요.

  1. temperature를 낮은 값부터 시험합니다.
  2. 응답 형식은 프롬프트만이 아니라 JSON schema와 검증 로직으로 고정합니다.
  3. 실제 업무 데이터로 같은 요청을 여러 번 실행해 형식 이탈률을 기록합니다.

낮은 temperature가 사실성을 보장하지는 않습니다. 잘못된 전제가 입력되면, 일관되게 틀린 답을 낼 수도 있습니다.

아이디어와 초안이 필요한 업무

제목 후보, 캠페인 콘셉트, 비유, 첫 문단처럼 다양성이 가치인 작업은 조금 더 넓은 선택 폭을 사용할 수 있습니다.

  • 한 번에 하나의 정답을 기대하지 않습니다.
  • 여러 결과를 생성해 사람이 고르는 흐름을 만듭니다.
  • 브랜드 금칙어와 검수 기준을 후단에 둡니다.

재현성이 필요한 테스트

출력이 바뀌면 안 되는 평가·회귀 테스트에서는 요청 파라미터와 프롬프트 버전을 함께 기록하세요. 일부 API는 반복 요청의 일관성을 높이기 위한 seed 옵션을 제공하지만, 이는 완전한 동일 출력을 보장하는 마법의 스위치가 아닙니다.[1]

흔한 실수와 안전 주의점

temperature 0이면 항상 똑같다는 오해

temperature가 낮아도 모델 버전, 도구 결과, 시스템 지시, 입력 순서가 바뀌면 결과는 달라질 수 있습니다. 재현성은 설정 하나가 아니라 고정된 입력·버전·도구 결과·평가 세트로 관리해야 합니다.

temperature와 top_p를 동시에 크게 바꾸는 실수

두 값을 동시에 조절하면 어떤 변화가 결과에 영향을 줬는지 알기 어렵습니다. 먼저 하나만 고정하고, 업무 성공 기준에 맞춰 작은 폭으로 실험하세요.

창의성 설정으로 사실 검증을 대신하는 실수

낮은 무작위성은 환각을 해결하지 않습니다. 최신성이나 사실성이 중요한 답변에는 검색·사내 데이터·출처 표시·사람 검토를 별도로 붙여야 합니다.

핵심 정리

  • LLM은 다음 토큰의 확률 분포에서 하나를 선택하며 문장을 만든다.
  • temperature는 선택의 무작위성을, top_p는 고려할 후보의 누적 확률 범위를 조절한다.
  • 정형 업무는 낮은 변동성 + 형식 검증, 창작 업무는 여러 후보 + 사람 선택이 잘 맞는다.
  • 재현성과 사실성은 샘플링 설정만이 아니라 입력·도구·평가 설계의 문제다.

실습: 내 업무에 맞는 선택 폭 찾기

  1. 자주 쓰는 프롬프트 하나를 고릅니다. 예: 아래 문의를 긴급·일반·스팸으로 분류해 JSON으로 반환.
  2. temperature 또는 top_p 중 하나만 정하고, 세 가지 수준으로 실행합니다.
  3. 형식 이탈, 사실 오류, 표현 다양성, 사람이 수정한 시간을 기록합니다.
  4. 가장 좋은 설정을 프롬프트 이름·모델 버전·날짜와 함께 저장합니다.
  5. 다음 달 같은 평가 세트로 다시 실행해 품질 변화가 있는지 확인합니다.

참고 자료