ChatGPT한테 '2024년 올림픽 금메달 개수'를 물어봤는데 엉뚱한 숫자가 나왔거나, Claude에게 회사 업무 관련 질문을 했는데 완전히 다른 분야 이야기를 늘어놓은 경험 있으시죠? 이런 현상을 할루시네이션(Hallucination)이라고 불러요.

할루시네이션은 AI가 실제로는 모르는 정보를 마치 확실한 것처럼 답변하는 현상입니다. 쉽게 말해 AI가 상상으로 답을 만들어내는 거예요. 문제는 AI가 틀렸다는 걸 전혀 티 내지 않는다는 점이에요.

하지만 이런 상황에서 '역시 AI는 믿을 수 없어'라고 포기할 필요는 없어요. 질문하는 방식을 단계별로 바꿔보면 훨씬 정확한 답을 받을 수 있거든요.

AI가 엉뚱한 답을 내놓는 첫 번째 이유는 질문이 너무 모호하기 때문이에요. '좋은 마케팅 전략 알려줘'라고 물으면 AI는 수백 가지 가능성 중에서 추측해서 답해야 해요.

나쁜 질문 예시: '회사 홍보 방법 알려줘'

좋은 질문 예시: '직원 20명 규모의 IT 스타트업이 B2B 고객을 대상으로 하는 홍보 방법 알려줘'

맥락을 구체적으로 제공하면 AI가 관련 없는 정보를 끌어올 가능성이 크게 줄어들어요. 업종, 규모, 대상, 목적을 명확히 해주세요.

AI가 그럴듯한 통계나 사실을 제시할 때는 반드시 출처를 물어보세요. 할루시네이션의 대표적인 패턴이 '가짜 통계'거든요.

'방금 말한 통계의 출처가 어디야?'라고 추가 질문을 해보세요. 진짜 데이터라면 구체적인 기관명이나 연구 제목을 알려줄 거예요. 하지만 할루시네이션이라면 '정확한 출처를 찾을 수 없다'거나 모호한 답변이 나올 가능성이 높아요.

Perplexity를 쓰고 있다면 이 단계에서 유리해요. Perplexity는 답변과 함께 참고한 웹페이지 링크를 자동으로 보여주거든요. 링크를 클릭해서 실제 내용과 일치하는지 확인할 수 있어요.

AI가 제시한 답변이 맞는지 확인하는 가장 효과적인 방법은 반대편 질문을 던지는 거예요. 예를 들어 AI가 'A가 B보다 좋다'고 답했다면, 'B가 A보다 나은 점은 뭐야?'라고 물어보세요.

이렇게 하면 AI가 균형 잡힌 정보를 제공하게 되고, 처음 답변에서 놓친 부분을 발견할 수 있어요. 만약 AI가 반대 관점을 전혀 제시하지 못한다면, 처음 답변 자체가 편향되었거나 부정확할 가능성이 높아요.

ChatGPT나 Claude 모두 이런 방식의 검증 질문에 잘 반응해요. 특히 Claude는 자신의 답변에 대한 불확실성을 비교적 솔직하게 표현하는 편이에요.

복잡한 질문의 경우 AI에게 '단계별로 설명해줘' 또는 '어떤 과정으로 이 결론에 도달했는지 보여줘'라고 요청하세요. AI가 추론 과정을 보여주면 어느 단계에서 잘못된 가정을 했는지 찾을 수 있어요.

예를 들어 '우리 회사 매출 증가 방안'을 물었는데 엉뚱한 답이 나왔다면, 'step by step으로 분석 과정을 보여줘'라고 다시 질문해보세요. AI가 어떤 전제 조건을 잘못 이해했는지 파악할 수 있을 거예요.

이 방법은 특히 계산이나 논리적 추론이 필요한 질문에서 효과적이에요. AI가 중간 단계를 생략하고 결론만 제시할 때 오류가 생기는 경우가 많거든요.

마지막으로는 같은 질문을 다른 AI 도구에도 물어보세요. ChatGPT, Claude, Perplexity는 각각 다른 데이터와 알고리즘을 사용하기 때문에 서로 다른 답변을 할 수 있어요.

만약 세 도구 모두 비슷한 답변을 한다면 신뢰도가 높다고 볼 수 있어요. 하지만 답변이 크게 다르다면 추가 조사가 필요한 신호예요.

특히 최신 정보나 전문적인 내용의 경우 이런 교차 검증이 중요해요. 각 AI마다 학습 데이터의 시점이나 범위가 다르기 때문이에요.

AI를 제대로 활용하려면 한계를 인정하는 것도 중요해요. AI가 잘하는 영역과 조심해야 할 영역을 구분해서 써야 해요.

AI가 잘하는 것들: 텍스트 요약, 번역, 아이디어 브레인스토밍, 코드 작성 도움, 일반적인 설명. 이런 작업들은 할루시네이션이 생겨도 크게 문제가 되지 않는 경우가 많아요.

AI가 조심해야 할 것들: 최신 뉴스나 실시간 정보, 의료나 법률 조언, 정확한 통계나 수치, 개인정보나 기밀 정보 처리. 이런 영역에서는 반드시 추가 검증이 필요해요.

결국 AI는 도구예요. 망치로 나사를 박으려고 하면 안 되는 것처럼, AI도 적절한 용도에 맞게 써야 제대로 된 결과를 얻을 수 있어요.