인공지능(AI)의 고질적인 문제인 '기억의 함정'과 '과잉 확신 오류'를 해결하기 위해 멀티모달 메모리 에이전트(MMA) 프레임워크가 등장하였습니다. 기존 AI 에이전트(RAG 방식)는 정보의 유사성만을 기준으로 검색하여 잘못된 정보를 확신하는 오류를 범하기 쉬웠습니다. 예를 들어, 사용자의 질문에 대해 유사도가 높은 과거의 오래된 정보를 신뢰도가 높은 최신 정보보다 우선시하는 경향을 보였습니다.
MMA는 이러한 한계를 극복하고자 단순한 정보 검색을 넘어 정보의 신뢰도를 스스로 평가하는 '신뢰도 점수(Confidence Score, C)' 시스템을 도입하였습니다. MMA는 0.0에서 1.0 사이의 신뢰도 점수를 계산하기 위해 세 가지 핵심 도구를 활용합니다.
출처에 따른 가중치 부여. 사용자 발언(1.0)을 최우선하며 문서(0.9), 웹(0.7) 순으로 차등 적용합니다.
정보의 생성 시점을 반영. 반감기 30일을 기준으로 최신 정보에 더 높은 가치를 부여합니다.
주변 기억들과의 일관성 검증. 상위 10개 기억의 일치 여부에 따라 신뢰도를 강화하거나 감점합니다.
이 세 가지 도구를 통해 MMA는 AI의 '메타 인지' 능력을 강화하며, FEVER 벤치마크 테스트에서 기존 방식 대비 결과값의 분산(표준편차)을 35.2% 줄이는 등 압도적인 안정성을 증명하였습니다. 또한, 연구팀은 AI가 모호한 시각적 정보에 맹목적으로 의존하는 '시각적 플라시보 효과'를 발견하고, 이를 극복하여 텍스트와 이미지 정보가 충돌하는 '신뢰 역전' 상황에서 41.18%의 정확도를 기록하였습니다.
MMA는 신뢰도 점수가 기준치(0.4) 미만일 경우 답을 거절하는 '지혜로운 침묵(Selective Prediction)'을 선택합니다. 이는 무조건 답을 내놓기보다 근거가 확실할 때만 확신을 가지고 행동하는 AI를 지향함을 보여줍니다.