ChatGPT에게 뭔가를 물어보고 답을 받으면, 어딘가에 저장된 정답을 찾아서 보여줬다고 생각하기 쉽습니다. 네이버나 구글에 검색어를 넣으면 문서를 찾아주듯이요. 그런데 AI는 그렇게 동작하지 않습니다. 이 오해 하나 때문에 “AI가 거짓말을 했다”, “AI가 이랬다저랬다 한다” 같은 당황스러운 경험이 생깁니다. 시리즈 첫 편에서 이 오해부터 풀고 갑니다.
검색엔진은 찾고, AI는 만듭니다
검색엔진과 AI의 차이는 도서관 사서와 이야기꾼의 차이입니다.
검색엔진은 사서입니다. “제주도 맛집”이라고 물으면 서가에서 관련 문서를 찾아 그대로 건네줍니다. 문서에 뭐라고 쓰여 있든 내용을 바꾸지 않고, 없는 문서를 지어내지도 않습니다. 요즘은 검색 결과 맨 위에 AI 요약이 함께 뜨곤 하는데, 그 부분은 사서가 아니라 이야기꾼이 쓴 글입니다. 그것만 기억해 두세요.
ChatGPT 같은 AI는 이야기꾼에 가깝습니다. 질문을 받으면 어딘가에서 문서를 찾아오는 게 아니라, 그 자리에서 문장을 새로 만들어냅니다. 여러분이 받은 답변은 세상 어디에도 저장되어 있지 않던 글입니다. 방금 그 자리에서 생성됐죠. 그래서 이런 AI를 생성형 AI라고 부릅니다.
그럼 뭘 근거로 만들까요? 여기서 핵심 원리가 나옵니다.
원리는 하나, 다음 단어 맞히기
ChatGPT의 뿌리는 LLM(Large Language Model, 대규모 언어 모델)이라는 기술입니다. 이름은 거창하지만 하는 일은 하나입니다. 지금까지의 글에 자연스럽게 이어질 다음 단어를 예측하는 것.
스마트폰 키보드의 자동완성을 떠올리면 됩니다. “오늘 날씨가”까지 치면 키보드가 “좋네요”를 추천하죠. LLM은 그 자동완성을 상상 이상의 규모로 키웠습니다. 인터넷의 책·기사·웹문서 수조 개 단어를 읽으며 “이런 글 다음엔 이런 말이 온다”는 패턴을 학습했고, 그 결과 한두 단어가 아니라 보고서 한 편을 통째로 이어 쓸 수 있게 됐습니다.
그러니까 AI가 답변하는 과정은 이렇습니다. 여러분의 질문을 받고, 거기에 이어질 가장 그럴듯한 단어를 하나 고르고, 그 단어까지 포함해서 또 다음 단어를 고르고. 이걸 초당 수십 번씩 반복해서 문장을 완성합니다.
“그럴듯한 말”이 어떻게 똑똑해 보일까
“다음 단어 맞히기가 전부라고? 그런데 어떻게 번역도 하고 요약도 하지?“라는 의문이 들 수 있습니다.
비밀은 규모입니다. 다음 단어를 잘 맞히려면 결국 세상 지식이 필요하거든요. “조선의 4번째 왕은”이라는 문장 뒤에 올 단어를 맞히려면 역사를 알아야 하고, “이 코드의 버그는”을 이어 쓰려면 프로그래밍을 알아야 합니다. 방대한 글을 학습하는 동안 지식과 추론 패턴이 모델 안에 압축돼 들어간 겁니다.
다만 저장 방식이 검색엔진과 다릅니다. 문서가 통째로 보관되는 게 아니라, 수천억 개의 숫자(파라미터) 속에 패턴으로 녹아 있습니다. 사람의 기억과 비슷합니다. 우리도 작년에 읽은 책을 한 글자씩 꺼내진 못하지만 내용은 이야기할 수 있죠. 그래서 AI의 지식은 정확한 원문 인용보다 “대략 이런 내용이었다”에 가깝습니다.
같은 질문에 매번 다른 답이 나오는 이유
AI는 다음 단어를 고를 때 1등 후보만 고르지 않습니다. 확률이 높은 후보 중에서 약간의 무작위성을 섞어 고릅니다. 매번 1등 단어만 고르면 답변이 기계적이고 뻔해지니까 일부러 변화를 주는 겁니다.
그래서 같은 질문을 두 번 하면 다른 답이 나옵니다. 고장이 아니라 설계입니다. 검색엔진이라고 생각하면 “왜 답이 바뀌지?“가 되지만, 문장 생성기라고 생각하면 자연스러운 일이죠.
이 성질은 쓰기에 따라 장점이 됩니다. 답변이 마음에 안 들면 다시 생성을 눌러 다른 버전을 받아볼 수 있고, 아이디어 회의처럼 다양한 안이 필요할 때 특히 유용합니다.
최신 뉴스를 물으면 안 되는 이유, 그리고 예외
LLM의 지식은 학습을 마친 시점에서 멈춥니다. 이 시점을 지식 컷오프(knowledge cutoff, 지식 마감 시점)라고 부릅니다. 학습이 끝난 뒤 세상에서 일어난 일은 모델 안에 없습니다. 어제 나온 뉴스, 오늘의 환율, 이번 주 개봉 영화 같은 건 원리상 알 수 없죠.
다만 요즘 서비스들은 이 한계를 웹 검색 기능으로 보완합니다. 최신 정보가 필요한 질문이면 AI가 먼저 검색을 돌리고, 찾아온 문서를 근거로 답을 만드는 방식입니다. 사서에게 자료를 받아 온 이야기꾼인 셈이죠. 알아서 검색을 돌리는 경우가 많지만, 최신 정보를 물을 땐 답변에 출처 링크가 실제로 붙었는지 확인하는 편이 좋습니다. 확실히 하고 싶다면 “웹에서 찾아서 알려줘”라고 덧붙이면 됩니다. 이 활용법은 4편에서 자세히 다룹니다.
정리하면
- AI는 저장된 정답을 찾는 게 아니라 그 자리에서 문장을 만들어냅니다
- 원리는 다음 단어 예측이고, 방대한 학습 덕분에 그 예측이 지식처럼 작동합니다
- 같은 질문에 다른 답이 나오는 건 고장이 아니라 설계입니다
- 지식은 학습 시점에 멈춰 있고, 최신 정보는 웹 검색 기능으로 보완합니다
그런데 이 원리에는 그림자가 있습니다. AI의 목표가 “정답 말하기”가 아니라 “그럴듯한 문장 만들기”라면, 그럴듯한데 틀린 말도 얼마든지 만들 수 있다는 뜻이거든요. 실제로 만듭니다. 그것도 아주 자신 있게요. 다음 편에서는 AI가 지어내는 거짓말, 환각을 구별하고 대처하는 법을 다룹니다.