AI에게 자료 조사를 시켰더니 논문 제목과 저자까지 붙은 깔끔한 목록을 줬는데, 검색해 보니 세상에 없는 논문이었습니다. AI를 좀 써본 분이라면 비슷한 경험이 한 번쯤 있을 겁니다. 이렇게 AI가 사실이 아닌 내용을 사실처럼 만들어내는 현상을 환각(Hallucination, 할루시네이션)이라고 부릅니다. 이번 편에서는 환각이 왜 생기는지, 어떤 답변을 의심해야 하는지, 어떻게 줄이는지를 정리합니다.
환각은 버그가 아니라 원리의 부작용입니다
1편에서 본 것처럼 AI는 정답을 찾는 기계가 아니라 그럴듯한 다음 단어를 만드는 기계입니다. 그런데 그럴듯함과 사실임은 서로 다른 기준입니다.
“OO에 관한 대표 논문은”이라는 문장 뒤에는 저자 이름과 그럴듯한 논문 제목이 오는 게 자연스럽습니다. AI는 그 자연스러움을 충실히 따릅니다. 실제 존재하는 논문이면 다행이지만 학습 데이터에 정확한 정보가 없거나 흐릿하면 형식만 완벽한 가짜를 만들어냅니다. 논문 인용 형식은 수없이 학습했으니 형식은 진짜 같고, 내용만 가짜인 결과물이 나오는 거죠.
더 곤란한 건 태도입니다. 사람은 모르는 걸 말할 때 “아마”, “확실하진 않은데”라고 흐리지만, AI는 지어낸 내용도 확신에 찬 문장으로 말합니다. 문장의 자신감과 내용의 정확도가 따로 놀기 때문에 말투로는 환각을 걸러낼 수 없습니다.
환각을 줄이려는 노력은 계속되고 있습니다. 모르면 모른다고 답하도록 훈련하는 방향도 강화되는 추세입니다. 다만 “최신 모델이면 무조건 덜 틀린다”고 보긴 어렵습니다. 개발사가 공개한 평가에서 새 모델이 이전 모델보다 인물·사실 질문에서 오히려 더 자주 지어낸 사례도 있거든요. 모델 세대보다 확실하게 환각을 줄이는 건 뒤에서 다룰 근거 자료 붙여주기입니다. 어느 쪽이든 “요즘 AI는 안 틀린다”는 가정이 제일 위험합니다.
의심해야 할 답변 4가지
모든 답변을 의심하며 살 수는 없으니, 환각이 잘 생기는 지점을 알아두는 게 실용적입니다.
1. 구체적인 고유명사와 숫자. 논문 제목, 책의 쪽수, 법 조항 번호, 통계 수치, 판례 이름. 형식은 그럴듯한데 실존 여부는 별개인 것들입니다. 특히 “출처를 알려줘”라고 했을 때 나오는 출처야말로 가장 자주 지어내는 항목입니다.
2. 최신 정보. 1편에서 본 지식 컷오프 때문에, 웹 검색 없이 답한 최신 이슈는 낡았거나 지어낸 것일 수 있습니다. 가격, 일정, 인사 정보처럼 자주 바뀌는 정보가 대표적입니다.
3. 좁고 마이너한 주제. 학습 데이터가 풍부한 주제(유명 역사, 널리 쓰이는 기술)는 비교적 정확하지만 자료가 적은 주제(지역 정보, 사내 용어, 무명 인물)일수록 빈칸을 상상으로 메꿉니다.
4. 유도된 전제. “세종대왕이 스마트폰을 던진 사건 알려줘”처럼 질문에 틀린 전제가 들어 있으면, AI가 전제를 바로잡는 대신 전제에 맞춰 이야기를 지어내는 경우가 있습니다. 질문이 확신에 차 있을수록 AI도 장단을 맞춥니다. 요즘 모델은 이렇게 유명한 예시라면 바로잡는 편이지만 덜 알려진 주제에서는 여전히 장단을 맞추는 일이 생깁니다.
대처법, 검증 비용을 낮추는 방향으로
환각 대처의 기본 전략은 “AI를 안 믿는다”가 아니라 틀렸을 때 타격이 큰 정보만 골라서 검증한다입니다.
첫째, 웹 검색을 켜고 물어보세요. 요즘 AI 서비스에는 웹 검색 모드가 있습니다. 검색 결과를 근거로 답하게 하면 환각이 크게 줄어듭니다. 무엇보다 출처 링크가 실제로 존재하는 페이지인지 클릭해서 확인할 수 있습니다. 다만 링크가 열린다고 끝이 아닙니다. 그 페이지에 실제로 그 내용이 적혀 있는지까지 봐야 합니다. 링크는 진짜인데 요약이 틀린 경우가 있거든요.
둘째, 근거 자료를 직접 주세요. 계약서를 요약시킬 거면 계약서 파일을 첨부하는 식입니다. AI가 자기 기억 대신 여러분이 준 자료를 근거로 답하게 만드는 게 환각을 줄이는 가장 확실한 방법입니다. 이 방법은 4편에서 본격적으로 다룹니다.
셋째, 확신을 흔들어 보세요. 중요한 답변이라면 “정말이야? 확실하지 않으면 모른다고 해줘”라고 되물어 보세요. 환각이면 정정하는 경우가 꽤 있습니다. 다만 이 방법도 완벽하지 않아서 맞는 답을 틀렸다고 정정하는 경우도 있습니다. 어디까지나 보조 수단입니다.
넷째, 용도에 따라 검증 강도를 조절하세요. 아이디어 브레인스토밍이나 초안 작성이면 환각이 있어도 타격이 작습니다. 반대로 계약·의료·법률·투자처럼 틀리면 손해가 나는 영역이라면 AI 답변은 출발점으로만 쓰고, 원문과 전문가에게 반드시 확인해야 합니다.
정리하면
- 환각은 고장이 아니라 “그럴듯한 문장 생성”이라는 원리의 부작용입니다
- 자신 있는 말투는 정확도의 증거가 아닙니다
- 고유명사·숫자·출처·최신 정보·마이너한 주제에서 특히 의심하세요
- 웹 검색과 자료 첨부로 근거를 붙이고, 중요한 정보만 골라 검증하세요
환각 이야기의 결론은 “그러니 쓰지 말자”가 아닙니다. 환각의 성질을 알면 AI를 어디에 믿고 맡길지 선이 보입니다. 그리고 그 선 안에서 결과물의 품질을 끌어올리는 열쇠가 질문하는 법, 즉 프롬프트입니다. 다음 편에서는 같은 질문도 답이 달라지게 만드는 프롬프트 기본기 4가지를 다룹니다.