LLM에게 질문했더니 존재하지 않는 논문을 자신 있게 추천하거나, 틀린 날짜를 아주 자연스럽게 말한 경험이 있으신가요? 이런 현상을 보통 환각(hallucination)이라고 부릅니다. 쉽게 말해, 문장은 그럴듯하지만 사실은 틀린 답을 만들어 내는 현상입니다.
중요한 점은 환각이 단순한 오작동이 아니라는 것입니다. LLM이 언어를 배우고 답을 만드는 방식 자체에서 자연스럽게 생길 수 있는 오류에 가깝습니다.
LLM은 사실을 검색하는 기계가 아닙니다
LLM의 기본 학습 목표는 “참인지 거짓인지 판별하기”가 아니라 앞에 나온 문맥을 보고 다음에 올 단어를 예측하기입니다. 엄청나게 많은 글을 읽으며 어떤 단어와 문장이 함께 등장하는지 패턴을 학습하죠.
예를 들어 “대한민국의 수도는” 다음에는 “서울”이 나올 가능성이 매우 높습니다. 이처럼 자주 반복되고 일관된 사실은 비교적 안정적으로 답할 수 있습니다. 하지만 거의 등장하지 않는 사람의 생일, 최신 인사 정보, 출처가 희박한 사건처럼 패턴만으로 맞히기 어려운 정보는 이야기가 달라집니다.
LLM은 머릿속 데이터베이스에서 정답 한 줄을 꺼내는 대신, 문맥상 가장 자연스러운 문장을 생성합니다. 그래서 정보가 부족해도 문장 형식만큼은 매끄럽게 완성할 수 있습니다.
LLM의 “자연스러운 문장”과 “사실에 맞는 문장”은 같은 말이 아닙니다.
환각이 생기는 세 가지 이유
1. 다음 단어 예측에는 진실 판정표가 없습니다
사전학습 데이터에는 대체로 “이 문장은 참”, “이 문장은 거짓”이라는 꼬리표가 붙어 있지 않습니다. 모델은 다양한 문장을 보고 언어 패턴을 배우지만, 모든 주장에 대한 진위를 별도로 검증하며 학습하지는 않습니다.
철자나 문법은 반복되는 규칙이 많아 규모가 커질수록 잘 배울 수 있습니다. 반면 개인의 생일처럼 드물고 임의적인 사실은 주변 문맥만으로 정확히 예측하기 어렵습니다. OpenAI의 연구는 이런 저빈도 사실에서 통계적 예측 오류가 환각으로 이어질 수 있다고 설명합니다.[1]
2. 학습 데이터는 불완전하고 서로 충돌합니다
인터넷과 문서에는 오래된 정보, 오탈자, 편향, 서로 다른 주장도 섞여 있습니다. 특정 정보가 학습 데이터에 없거나 매우 적게 등장할 수도 있습니다. 최신 사건은 학습 시점 이후에 발생했을 수 있고요.
이때 모델은 “근거가 없다”는 사실을 완벽하게 감지하지 못한 채, 배운 패턴을 조합해 빈칸을 메울 수 있습니다. 질문이 모호하거나 전문적일수록 이런 위험은 커집니다.
3. 모른다고 말하기보다 추측하는 것이 높은 점수를 받기도 합니다
평가 방식도 중요한 원인입니다. 정답을 맞히면 1점, 틀리거나 “모르겠습니다”라고 하면 모두 0점인 시험을 떠올려 보세요. 모르는 문제도 찍는 편이 점수를 얻을 가능성이 있습니다.
LLM 평가도 정확도만 강조하면 비슷한 유인이 생깁니다. OpenAI는 표준 학습과 평가가 불확실성을 인정하기보다 추측하도록 보상할 수 있다고 지적합니다. 자신 있게 틀리는 답을 줄이려면 오답은 더 크게 불이익을 주고, 적절한 유보나 질문에는 가치를 주는 평가가 필요합니다.[1]
그림 1-1. 정보가 부족한 상황에서 언어 예측이 환각으로 이어지는 흐름
왜 틀린 답도 자신 있게 들릴까요?
LLM은 문장의 내용과 말투를 서로 독립적으로 다룰 수 있습니다. 불확실한 정보도 단정적인 문체로 표현할 수 있다는 뜻입니다. “자신감 있게 말한다”는 것은 문장 스타일이지, 내부에 사실 확인 도장이 찍혔다는 뜻이 아닙니다.
그래서 정확한 연도, 통계, 인용문, 논문 제목, 법률이나 의료 정보처럼 검증이 중요한 내용은 반드시 원문을 확인해야 합니다. OpenAI도 중요한 정보는 신뢰할 수 있는 출처로 확인하고, 검색이나 심층 조사처럼 출처를 제시하는 도구를 활용하라고 안내합니다.[2]
환각을 줄이는 현실적인 방법
환각을 완전히 없애기는 어렵지만, 사용 방식에 따라 크게 줄일 수 있습니다.
- 출처를 함께 요청합니다. 링크만 받지 말고 실제로 열어 제목, 저자, 발행일을 확인하세요.
- 모르면 모른다고 답하게 합니다. “근거가 부족하면 추측하지 말고 불확실하다고 표시해 줘”라고 조건을 주세요.
- 질문의 범위를 좁힙니다. 막연한 질문보다 기간, 대상, 기준을 명확히 적으면 오류가 줄어듭니다.
- 검색과 문서 연결을 활용합니다. 최신 정보나 사내 정보는 모델의 기억에만 맡기지 말고 웹 검색, RAG, 데이터베이스 조회를 연결하세요.
- 중요한 결과는 사람이 검토합니다. 금전, 건강, 법률, 계약처럼 영향이 큰 판단은 AI 답변을 초안으로만 사용하세요.
핵심 정리
- LLM은 진실을 저장해 꺼내는 데이터베이스가 아니라, 문맥에 맞는 다음 단어를 예측하는 모델입니다.
- 드물거나 최신이거나 서로 충돌하는 정보는 패턴만으로 정확히 복원하기 어렵습니다.
- 정확도 중심 평가는 “모르겠습니다”보다 추측을 선택하게 만들 수 있습니다.
- 자연스럽고 자신 있는 문체는 사실 정확성의 증거가 아닙니다.
- 출처 확인, 질문 구체화, 검색 도구 연결, 사람의 검토가 환각을 줄이는 가장 현실적인 방법입니다.
실습: 같은 질문을 두 가지 방식으로 물어보기
아래 두 프롬프트를 같은 LLM에 입력하고 답변을 비교해 보세요.
프롬프트 A
양자컴퓨팅의 최신 동향을 설명해 줘.
프롬프트 B
2026년 10월 기준 양자컴퓨팅의 주요 동향 세 가지를 설명해 줘. 각 주장에 공식 기관이나 기업의 원문 링크를 붙이고, 확인할 수 없는 내용은 추측하지 말고 “확인 필요”라고 표시해 줘.
다음 세 가지를 확인하면 됩니다.
- 구체적인 근거가 제시되었는가?
- 사실과 추정이 구분되어 있는가?
- 링크를 열었을 때 실제 내용이 답변과 일치하는가?
환각을 이해하는 가장 좋은 방법은 AI를 무조건 믿거나 무조건 불신하는 것이 아닙니다. 어떤 조건에서 틀릴 수 있는지 알고, 검증 가능한 방식으로 사용하는 것입니다.
