생성형 AI의 환각 현상
생성형 AI는 현대 비즈니스 환경에서 필수적인 도구로 자리 잡고 있습니다. 특히, 대규모 데이터를 처리하고 복잡한 문제를 해결함에 있어 그 가치가 높이 평가받고 있습니다. 기업들은 이러한 기술을 통해 작업의 효율성을 크게 향상시키고, 실시간 의사결정을 지원하는 등 다양한 방식으로 혜택을 받고 있습니다.
하지만 이러한 생성형 AI 의 눈부신 발전에도 불구하고, 그 한계를 명확히 이해하는 것은 매우 중요합니다. 생성형 AI가 직면한 주요 문제 중 하나인 환각 현상(Hallucination)은 특히 기업 환경에서 심각한 오류를 야기할 수 있으며, 이를 인지하고 적절히 관리하지 않으면 기술의 잠재력을 충분히 발휘하지 못할 위험이 있습니다. 이번 글에서는 생성형 AI의 환각 현상과 해결방안에 대해 설명하고자 합니다.
환각 현상이란?
환각 현상은 생성형 AI가 실제로는 존재하지 않거나 관련이 없는 정보를 생성해내는 문제입니다. ChatGPT를 사용해 보신 분이라면 ChatGPT가 사실과 다른 정보를 제공하는 경험을 해 보셨을 것입니다. 아마도 이런 경험을 반복적으로 하신 분들이라면 생성형 AI가 말만 시끄럽지 별게 아니구나 하고 생각하셨을 수도 있습니다.
생성형 AI가 만들어 내는 환각 현상은 크게 네 가지 유형으로 나뉩니다.
- 모순된 문장 (Sentence Contradiction)
이 형태의 환각은 AI가 생성한 문장이 외형적으로는 타당해 보이지만 실제로는 내용 상의 모순을 포함하고 있는 경우입니다. 예를 들어, "하늘은 초록색이다"와 같은 문장은 일반적인 지식과 상충되는 명백한 오류를 보여줍니다. - 프롬프트와의 모순 (Prompt Contradiction)
사용자가 특정한 내용의 응답을 요구했음에도 불구하고 생성형 AI가 전혀 상반되거나 관련 없는 결과를 제공하는 경우입니다. 예를 들어, 사용자가 긍정적인 음식점 리뷰를 요청했으나 생성형 AI가 "음식과 서비스가 최악이었다"와 같은 부정적인 평가를 생성하는 경우가 이에 해당합니다. - 사실 왜곡 (Factual Contradiction)
생성형 AI가 현실이나 일반적으로 받아들여지는 사실과 다른 정보를 제공하는 경우로, 예를 들어 "버락 오바마는 미국의 첫 번째 대통령이었다"와 같은 역사적 사실을 잘못된 방식으로 제시하는 것입니다. - 비합리적 또는 연관성 없는 정보 (Nonsensical or Irrelevant Information)
생성형 AI가 문맥상 무관하거나 비합리적인 정보를 제시하는 경우입니다. 이는 AI가 주어진 데이터 내의 패턴을 오해하거나 잘못된 연결을 만들어 내는 결과를 초래할 수 있습니다. "파리는 프랑스의 수도입니다. 파리라는 이름을 가진 가수도 있습니다"와 같은 연관성 없는 정보를 나열하는 것이 그 예가 될 수 있습니다.
환각 현상의 원인
특정 환각 현상이 왜 발생하는지에 대해서 이야기할 수 있는 사람은 없습니다. LLM 이 도출해 내는 결과값이 어떠한 과정에서 나왔는지는 LLM을 만들어낸 기술자도 전부를 이해할 수는 없기 때문입니다. 하지만 개별 사례에 대한 원인이 아니라 일반적으로 이러한 현상이 왜 나타나는지 그 원인은 주로 세 가지 큰 범주로 나눌 수 있습니다.
- 낮은 데이터 품질 (Data Quality)
데이터에 포함된 오류나 편향은 AI가 부정확한 정보를 반복적으로 생성하도록 만듭니다. 널리 사용되는 데이터 소스가 불완전하거나 사실과 다르게 표현된 정보를 포함하고 있을 경우 AI는 이를 학습하여 잘못된 정보를 출력하게 됩니다. - 생성 방법의 특성 (Generation Method )
생성형 AI가 기반하고 있는 LLM 모델은 기존 데이터를 기반으로 가장 가능성 있는 단어나 문장을 예측하는 알고리즘을 사용합니다. 이 과정에서 생성형 AI는 보다 일반적이고 널리 사용되는 표현을 선택하는 경향이 있으며, 이는 때때로 덜 구체적이거나 상황에 맞지 않는 결과를 초래합니다. - 불충분한 프롬프트 (Input Context)
프롬프트가 불명확하거나 요구 사항이 모호할 때, AI는 제공된 정보만을 바탕으로 최선의 추정을 시도합니다. 이런 상황에서 AI는 종종 부정확하거나 원치 않는 결과를 도출하게 되며, 이는 실제 의도와 상반된 정보를 생성할 수 있습니다.
환각 현상을 최소화하기 위한 방안
환각 현상을 아예 없앨 수는 없겠지만 다음과 같은 세 가지 전략을 통해 이 문제를 최소화하고 효과적으로 관리할 수 있습니다.
- 명확하고 구체적인 프롬프트 제공 (Clear & Specific Prompts)
AI가 정확하고 관련성 높은 정보를 생성하도록 하기 위해서는 사용자가 제공하는 프롬프트의 질이 매우 중요합니다. 명확하고 구체적인 프롬프트를 제공하면 AI는 주어진 정보에 기반하여 더 정확한 응답을 할 수 있습니다. 예를 들어, "한국전쟁은 언제 어떻게 시작되었나요?"와 같은 질문은 "한국전쟁에 대해 설명해 주세요"보다 더 명확한 방향을 제시하며, AI로 하여금 더 정확하고 직접적인 정보를 제공하도록 유도합니다. - 능동적 완화 전략 (Active Mitigation Strategies)
생성형 AI 설정을 조정하여 환각 현상을 능동적으로 관리할 수 있습니다. 예를 들어 Temperature parameter를 낮추는 것은 AI가 덜 창의적이고 더 예측 가능한 결과를 생성하도록 합니다. 낮은 온도 설정은 AI가 더 보수적으로 반응하게 하여, 특히 데이터가 제한적이거나 특정 상황에서는 더 정확한 정보를 제공하도록 돕습니다. - 멀티-샷 프롬프팅 (Multi-shot Prompting)
이 접근 방식은 하나의 프롬프트만 제공하는 것이 아니라, 여러 조건과 정보를 조합하여 생성형 AI에게 최대한 상세하게 프롬프트를 제시합니다. 멀티-샷 프롬프팅을 통해 생성형 AI는 제공된 다양한 측면에서 정보를 종합적으로 평가하고, 보다 정확하고 관련성 높은 답변을 생성할 수 있습니다. 이 방법은 특히 복잡한 문제나 다면적인 질문에 효과적입니다.
이러한 전략들을 통합적으로 사용함으로써, 생성형 AI의 환각 현상을 최소화하고, 이로 인한 잠재적인 문제를 효과적으로 관리할 수 있습니다.
생성형 AI를 사용하면 누구나 쉽게 환각 현상을 경험하게 됩니다. 이러한 환각 현상은 사람들로 하여금 마치 생성형 AI가 그리 대단하지 않은 도구라는 인식을 줄 수 있습니다. 하지만 이러한 인식은 모두가 발 빠르게 생성형 AI를 업무에 도입하고 있는 흐름을 따라가는데 장애가 될 뿐입니다. 생성형 AI를 업무에 적극적으로 활용하여 생산성을 높이기 위해서는 이 기술이 완벽하지 않다는 사실을 이해하는 것이 중요합니다. 특히 환각 현상은 생성형 AI가 잘못된 정보를 생성할 수 있는 주된 이유 중 하나이기 때문에 이를 인식하고 적절히 관리하는 것은 필수적입니다. 생성형 AI의 미래는 이러한 문제들을 어떻게 해결 하느냐에 달려 있으며, 지속적인 개선과 관리가 이루어질 때 비로소 기술의 진정한 가치를 발휘할 수 있을 것입니다.