Search

서포터가 잘못된 답변을 생성해요

뤼튼에서 사용하는 거대언어모델(LLM)은 질문에 가장 정답일 확률이 높은 답변을 제공해, 학습된 정보에 따라 정확하지 않을 수 있어요.

가짜 정보 제공 = 할루시네이션 현상

사실과 다른 정보를 답변해서 당황하셨나요?
할루시네이션 현상이 발생되었기 때문이에요.
인공지능(AI)이 주어진 데이터나 맥락에 근거하지 않은 잘못된 정보나 허위 정보를 생성하는 현상을 말해요.
LLM은 확률언어모델로서 학습된 내용을 바탕으로 가장 높은 확률의 답변을 제공해요. 이는 학습된 정보에 따라 정확하지 않을 수 있어요. 모델 버전이 업그레이드 됨에 따라 할루시네이션 현상은 개선되는 중이에요.
거대언어모델(LLM)은 주어진 질문에 대해 가장 정답일 확률이 높은 답변을 제공해요. 이는 인간 피드백 기반 강화 학습(RLHF) 등의 결과물로, 인간이 얼마나 자신의 답변을 선호하는지를 평가받으며 최대한 정답일 확률이 높은 답변을 하도록 훈련되었어요. → 학습 데이터가 풍부한 경우에는 정답을 말할 확률이 높지만, 반대의 경우에는 틀린 대답이라도 그럴 듯한 대답을 하는 상황이 발생해요.
근본적으로 해결되려면 거대언어모델 자체 개선이 필요해요.
해결을 위해선 많은 시간이 필요해, 뤼튼에서는 자체적으로 파인튜닝 진행 등 여러가지 방법을 시도하여 정확도를 높이고 있어요.
만약의 발생 가능성을 배제하지 못하기에, 학습에 활용하는 경우 전문가 또는 공인서적에 사실 여부를 재차 확인하는 것을 추천 드려요.
할루시네이션 현상은 문학이나 카피라이팅과 같은 창의적인 결과물을 만들 때에는 오히려 긍정적으로 작용할 수 있습니다.
프롬프트 내에 1) 사실 정보를 직접 추가하거나 2) 추후 출시되는 플러그인 등을 사용하여 요약, 분석 등의 작업을 진행하면 할루시네이션 현상을 최소화 할 수 있습니다.

참고 사항

대화가 길어질수록 맥락과 맞지 않는 말을 하는 경우
새 채팅 시작 버튼을 클릭하여 새로운 대화창에서 실행해보세요!
거대언어모델(LLM)은 인간의 뇌 구조와 유사해, 너무 긴 대화를 하면 앞의 맥락을 잊을 수 있어요.