AI도 거짓말 한다? 할루네이션 쉽게 이해하기

 

 

 

AI를 잘 활용하기 위한 첫걸음, 할루네이션을 이해하는 것이다
인공지능(AI)이 우리 일상에 깊숙이 들어온 시대이다. 

검색, 번역, 상담, 글쓰기, 심지어 그림 그리기까지 AI의 도움을 받는 일이 자연스러워졌다. 하지만 AI를 쓰다 보면 한 가지 낯선 현상과 마주하게 된다. 바로 '할루네이션(Hallucination)'이다. 

할루네이션이란 무엇인가?
할루네이션(Hallucination)이라는 단어는 원래 의학 용어로 '환각'을 뜻한다. 그런데 AI 분야에서는 조금 다르게 쓰인다.

AI 할루네이션이란, 인공지능이 사실이 아닌 내용을 마치 사실인 것처럼 만들어내는 현상을 말한다.


예를 들어보면 다음과 같다.
어떤 사람이 AI에게 "한국의 대통령은 누구야?"라고 물었을 때, AI가 실제 대통령이 아닌 전혀 엉뚱한 인물 이름을 말한다면 이것이 바로 할루네이션이다.
또한, 존재하지 않는 책, 가짜 뉴스, 틀린 통계 자료를 만들어내는 것도 할루네이션에 해당한다.

왜 할루네이션이 발생할까?
AI는 '기억'을 갖고 있지 않다. 오히려 확률에 따라 가장 그럴듯한 답을 예측하는 방식으로 작동한다. 즉, AI는 "이런 질문에는 이런 답이 많이 붙더라"라는 패턴을 보고 답을 짓는다.

문제는, 실제로 정답이 무엇인지 모른 채, 그럴듯한 말을 만드는 데 있다. 이 과정에서 진짜와 가짜가 섞여버리는 현상이 발생한다. 그래서 아무리 스마트한 AI라도 100% 정확한 답변을 보장할 수 없는 것이다.


AI 할루네이션은 거짓말하는 친구와 비슷하다
할루네이션을 이해할 때 가장 쉬운 방법은, "거짓말하는 친구" 를 떠올리는 것이다.
AI는 때때로 마치 아는 척하며 사실이 아닌 이야기를 진짜처럼 말하는 친구와 닮았다.

거짓말하는 친구의 특징
자신 있게 말한다.
"진짜야, 믿어!" 하면서 말하지만 사실이 틀릴 때가 있다.

악의는 없다.
일부러 속이려고 하는 게 아니라, 자기가 아는 범위 안에서 제일 그럴듯한 이야기를 만든다.

대충 들은 걸 섞어 말한다.
어디서 본 것 같기도 하고, 들은 것 같기도 한 이야기들을 섞어 이야기한다.

AI도 비슷하다
AI는 의도적으로 거짓말을 하지는 않는다. 하지만
확실하지 않은 정보를 자신감 있게 말하는 것이 문제이다.

예를 들어,
"한국의 수도는 부산이다."
라고 AI가 대답했다고 생각해보자.
(물론 정답은 서울이다.)

이때 AI는 일부러 우리를 속이려 한 게 아니다.
그저 학습된 데이터 중에서 부산과 관련된 문장이 많다거나, 질문 문맥을 잘못 이해해서 그럴듯하게 답을 만들어낸 것이다.

그래서 AI를 쓸 때는, AI를 모든 것을 아는 선생님처럼 대하는 것이 아니라,
잘 아는 것도 있지만 실수도 하는 친구처럼 생각하는 태도가 필요하다.

거짓말하는 AI를 대하는 방법
의심하고 확인한다.
"진짜일까?" 라는 마음으로 다른 자료를 찾아본다.

구체적으로 다시 질문한다.
애매하면 AI도 헷갈린다. 구체적으로 묻고 답을 좁혀나간다.

비판적으로 받아들인다.
"AI가 이렇게 말했으니 무조건 맞다"라고 생각하지 말고, 스스로 생각하고 판단하는 습관을 갖는다.


할루네이션은 "AI가 의도 없이 자신 있게 틀린 말을 하는 것"이다.
이 모습은 마치 잘난 척하다가 틀린 정보를 말하는 친구와도 비슷하다.

AI를 쓸 때는 이 점을 항상 기억해야 한다.
AI는 똑똑한 도구이지만, 모든 것을 아는 신이 아니다.
우리는 AI의 답을 그대로 받아들이는 대신, 확인하고, 비판적으로 검토하고, 스스로 판단하는 힘을 길러야 한다.
그것이 바로 AI 시대에 필요한 진짜 지혜이다.

 

 

 

파우스트 박사 사례로 본 할루네이션의 위험성이다.

미국의 응급의학과 전문의인 제레미 파우스트(Jeremy Faust) 박사는 인공지능(AI)의 할루네이션(hallucination) 현상을 직접 경험하고 이를 공개적으로 공유한 사례로 주목받고 있다,

 

그는 하버드 의과대학의 임상 강사이자 브리검 여성병원(Brigham and Women’s Hospital)에서 응급의학과 전문의로 재직 중이며, MedPage Today의 편집장으로도 활동하고 있다.

 

인공지능(AI)의 발달은 의료, 교육, 비즈니스 등 다양한 분야에서 혁신을 가져오고 있다. 하지만 AI를 사용하는 과정에서  "할루네이션(Hallucination)"이라는 심각한 문제도 함께 등장하고 있다. 

할루네이션이란, AI가 사실이 아닌 정보를 마치 진짜처럼 만들어내는 현상을 말한다.

최근, 미국의 응급의학과 전문의 제레미 파우스트(Jeremy Faust) 박사의 경험은 이 문제를 실질적으로 보여주는 대표적 사례가 되고 있다.

파우스트 박사의 할루네이션 경험
제레미 파우스트 박사는 하버드 의과대학의 임상 강사이자 브리검 여성병원(Brigham and Women’s Hospital)에서 응급의학과 전문의로 활동하는 인물이다. 그는 MedPage Today의 편집장이기도 하다.
이러한 의료계 전문가인 파우스트 박사는 AI를 사용해 의료 기록을 요약하는 실험을 진행하였다.

파우스트 박사는 환자의 진료 기록을 요약하기 위해 OpenAI 기반 언어 모델을 활용했다.
하지만 놀랍게도, AI는 실제 환자의 진료 기록에 존재하지 않는 가짜 진단명이나 허위 치료 내용을 문서에 추가하는 오류를 범했다.
즉, AI는 스스로 지어낸 사실을 마치 진짜처럼 써넣는 할루네이션 현상을 보인 것이다.

할루네이션이 가져온 위험
파우스트 박사의 사례를 통해 알 수 있는 것은, AI가 만들어낸 작은 오류 하나가 의료 현장에서는 치명적인 결과를 초래할 수 있다는 점이다.

의료 기록은 환자의 생명과 직결된다.
정확하지 않은 진단명이나 허위 치료 내용이 기록에 포함될 경우, 잘못된 치료로 이어질 위험이 있다.
이는 단순한 실수가 아니라, 환자의 생명 안전을 위협하는 심각한 문제로 이어질 수 있다.

특히 의료 분야에서는, 정보의 신뢰성과 정확성이 절대적으로 요구된다.
그렇기 때문에, AI를 도입할 때 단순한 편의성만을 바라봐서는 안 된다.
AI는 오류를 낼 수 있다는 점을 전제하고, 반드시 전문가의 꼼꼼한 검토 과정을 거쳐야 한다.

파우스트 박사가 강조한 교훈
파우스트 박사는 자신의 경험을 통해 몇 가지 중요한 교훈을 남겼다.

첫째, AI는 유용한 도구이지만, 완벽하지 않다는 점을 인정해야 한다.
둘째, AI가 생성한 정보는 반드시 전문가가 검증해야 한다.
셋째, AI를 사용할 때는 "자동화"가 아닌 "보조"로서 활용해야 하며, 최종 판단은 인간이 내려야 한다는 것이다.

이러한 교훈은 단순히 의료 분야에만 해당하는 것이 아니다.
교육, 금융, 법률 등 다양한 전문 분야에서도 마찬가지로 적용된다.
AI는 매우 똑똑하지만, 여전히 완전한 신뢰를 주기에는 부족한 존재이다.

이 사례가 주는 시사점
파우스트 박사의 사례는 우리 모두에게 중요한 메시지를 전하고 있다.

우리는 AI를 점점 더 많이 사용하게 될 것이다.
하지만 AI를 똑똑하게 쓰기 위해서는, 그 한계를 분명히 인식해야 한다.
"AI도 때로는 거짓말을 할 수 있다."
이 사실을 기억하는 것이 진정한 AI 리터러시의 출발점이다.

할루네이션을 줄이는 방법은 무엇인가?
할루네이션을 완전히 없앨 수는 없다. 그러나 다음과 같은 방법을 통해 할루네이션을 최소화할 수 있다.

1. 신뢰할 수 있는 자료를 제공하는 것이다
AI는 입력된 정보에 기반해 답을 만든다. 따라서, 정확한 정보를 주어야 AI도 틀린 말을 덜 하게 된다.
예를 들어, "2025년 한국 대통령은 이 사람이다."라고 확실한 정보를 입력해주면 AI가 틀린 이름을 만들어낼 가능성이 줄어든다.

2. 질문을 구체적이고 명확하게 하는 것이다
애매한 질문은 애매한 답을 부른다.
예를 들어 "세계 최고의 과학자는 누구야?"처럼 주관적인 질문보다는, "2024년 노벨 물리학상 수상자는 누구야?"처럼 구체적인 질문을 해야 한다.

3. 여러 번 확인하는 것이다
AI가 답한 내용이 맞는지 다른 소스(뉴스, 논문, 공식 사이트 등) 를 통해 다시 확인하는 습관이 필요하다.
AI가 알려준 정보를 무조건 믿지 않고, 스스로 검증하는 과정이 중요하다.

4. AI 모델을 잘 선택하는 것이다
특정 목적에 맞춰 튜닝된 AI는 일반 모델보다 정확도가 높다. 예를 들어 법률 분야에 특화된 AI, 의료 분야에 특화된 AI를 쓰면 할루네이션 발생 확률이 상대적으로 낮아진다.


AI 리터러시를 높이는 방법
AI 리터러시란, AI를 이해하고, 올바르게 사용하고, 비판적으로 해석할 수 있는 능력을 뜻한다.
이제는 스마트폰을 다루는 능력처럼 AI 리터러시도 필수적인 시대가 되었다.



그렇다면 어떻게 AI 리터러시를 높일 수 있을까?

1. AI의 원리를 이해하는 것이다
AI가 무슨 마법처럼 정답을 알고 있는 것이 아님을 알아야 한다.
AI는 '패턴'을 기반으로 대답한다는 것을 이해하면, AI의 답변을 맹신하지 않게 된다.

2. AI의 한계를 인정하는 것이다
AI는 틀릴 수도 있다. 때로는 편향적일 수도 있다. 가끔은 엉뚱한 이야기를 지어낼 수도 있다. 이런 한계를 인정하고 사용하는 것이 필요하다.

3. 질문하는 능력을 키우는 것이다
좋은 질문을 하면 좋은 답을 얻는다. 명확하고 구체적으로 질문하는 연습을 꾸준히 해야 한다.

4. 다양한 AI를 경험해보는 것이다
한 가지 AI만 쓰지 말고, 여러 종류의 AI(검색 AI, 창작 AI, 추천 AI 등)를 써보며 비교하고 평가하는 습관을 들이자.
이렇게 하면 AI마다 특징과 강점을 쉽게 파악할 수 있다.

5. 꾸준히 학습하고 따라가는 것이다
AI 기술은 매우 빠르게 변한다. 새로운 기능, 새로운 모델이 계속 등장한다.
관련 뉴스, 강의, 책을 통해 꾸준히 학습하며 나의 AI 리터러시를 점검하고 높여야 한다.

예시로 보는 할루네이션과 리터러시
[예시 1] 할루네이션 사례
질문: "세계 최초로 달에 착륙한 여성은 누구야?"

AI의 답변: "사라 리턴(Sara Lytton)"
(실제로 이런 사람은 존재하지 않는다)

→ 이 경우, AI가 존재하지 않는 인물을 만들어낸 할루네이션 사례이다.
따라서 '아폴로 프로그램 기록' 같은 공식 자료를 찾아 진짜 정답(아직까지 여성은 달에 착륙하지 않았다)을 확인하는 것이 필요하다.

[예시 2] 할루네이션 줄이기
잘못된 질문: "달에 간 여성 우주인 알려줘."

수정된 질문: "2025년까지 달에 착륙한 적이 있는 여성 우주인이 있는가? 있다면 이름과 소속 기관도 함께 알려줘."

→ 이렇게 질문을 구체화하면, AI가 헛갈릴 가능성이 줄어든다.

[예시 3] AI 리터러시 적용
어떤 학생이 AI에게 "근대 민주주의의 탄생을 5줄로 요약해줘"라고 요청했다.

AI가 간단한 요약을 제공했지만, 학생은 이를 다시 세계사 책과 비교하며 검증했다.

그 결과, AI가 빠뜨린 중요한 사건(예: 프랑스 혁명)을 추가해서 과제를 완성했다.

→ AI를 비판적으로 활용한 훌륭한 리터러시 사례이다.



AI를 똑똑하게 쓰는 법, 바로 할루네이션과 리터러시 이해에서 시작된다

AI는 분명히 놀라운 도구이다. 하지만 AI는 만능이 아니며, 때로는 엉뚱한 답을 할 수도 있다.

우리가 AI를 스마트하게 활용하기 위해서는, 먼저 할루네이션이 무엇인지 알고, 이를 줄이는 방법을 익히고, AI 리터러시를 높이는 노력을 해야 한다.


할루네이션은 무서운 것이 아니다. 우리가 알고 대비하면 충분히 관리할 수 있다.
그리고 AI 리터러시를 갖춘 사람은 AI를 단순한 도구가 아니라, 강력한 파트너로 활용할 수 있다.

AI를 잘 쓰기 위해서는
AI의 결과물을 무조건 믿지 않고, 스스로 확인하고, 비판적으로 검토하는 태도를 가져야 한다.

할루네이션은 AI의 고질적인 문제이지만, 이를 인식하고 대비하는 사람은
AI를 현명한 도구로 활용할 수 있는 사람이 된다.


파우스트 박사의 경험은 단순한 사례가 아니다.
AI 시대를 살아가는 우리 모두가 가져야 할 태도와 자세를 보여준다.
AI는 훌륭한 조력자가 될 수 있지만, 궁극적으로는 우리의 지혜와 책임이 함께할 때 그 가치를 발휘할 수 있다.


이제는 AI를 무조건 맹신할 것이 아니라, 함께 생각하고, 함께 검증하며, 함께 성장하는 파트너로 바라보아야 한다.
그것이 진짜 AI 시대를 똑똑하게 살아가는 방법이다.