Search
👿

가짜 정보 제공 = 할루시네이션

핵심 요약

뤼튼에 질문했더니 사실과 다른 정보를 답변해서 당황하셨나요?
이는 뤼튼 자체 오류가 아닌 인공지능(AI)이 주어진 데이터나 맥락에 근거하지 않은 잘못된 정보나 허위 정보를 생성하는 할루시네이션 현상입니다. (환각이나 환청을 뜻하는 정신의학 용어) 할루시네이션은 정확하지 않거나 사실이 아닌 조작된 정보를 생성하는 것을 뜻합니다.
LLM은 확률언어모델로서 학습된 내용을 바탕으로 가장 높은 확률의 답변을 제공합니다. 이는 학습된 정보에 따라 정확하지 않을 수 있습니다. 모델 버전이 업그레이드 됨에 따라 할루시네이션 현상은 개선되고 있습니다.
거대언어모델(LLM) 은 정답이 아니라 주어진 질문에 대해 가장 정답일 확률이 높은 답변을 제공합니다. 이는 인간 피드백 기반 강화 학습(RLHF) 등의 결과물로, 인간이 얼마나 자신의 답변을 선호하는지를 평가받으며 최대한 정답일 확률이 높은 답변을 하도록 훈련되어 있기 때문입니다. 그래서 학습 데이터가 풍부한 경우에는 정답을 말할 확률이 높지만, 반대의 경우에는 틀린 대답이라도 그럴 듯한 대답을 하는 상황이 발생하는 것입니다.
근본적으로 해결되려면 거대언어모델 자체가 개선되어야 합니다.
이는 시간이 오래 걸리는 일이기에, 뤼튼에서는 이 문제를 최대한 자체적으로 해결하기 위해 파인튜닝 등 여러가지 방법을 시도하여 정확도를 높이고 있습니다.
만약의 발생 가능성을 배제하지 못하기에, 학습에 활용하는 경우 전문가 또는 공인서적에 사실 여부를 재차 확인하는 것을 권장드립니다.
할루시네이션 현상은 문학이나 카피라이팅과 같은 창의적인 결과물을 만들때에는 오히려 긍정적으로 작용할 수 있습니다.
프롬프트 내에 1) 사실 정보를 직접 추가하거나 2) 추후 출시되는 플러그인 등을 사용하여 요약, 분석 등의 작업을 진행하면 할루시네이션 현상을 최소화 할 수 있습니다.

참고 사항

엑셀, PDF파일을 제작해준다거나 이미지를 제작해준다는 경우
뤼튼을 포함한 거대언어모델(LLM)은 텍스트 형태로만 정보를 제공합니다.
처음에는 괜찮다가 대화가 길어질수록 맥락과 맞지 않는 말을 하는 경우
새 채팅 시작 버튼을 클릭하여 새로운 대화창에서 실행해보세요!
거대언어모델(LLM)은 인간의 뇌 구조와 유사하여, 너무 긴 대화를 하면 앞의 맥락을 잊어버리게 됩니다.