KAIST, AI LLM ‘시간 환각’ 자동 진단 체계 개발

[충청뉴스 이성현 기자] 국내 연구진이 시시각각 변하는 현실 정보를 AI가 얼마나 정확하게 파악하고 있는지 검증하는 기술을 개발했다.

한국과학기술원(KAIST)은 전기및전자공학부 황의종 교수 연구팀이 마이크로소프트연구소와 공동으로 인공지능(AI)의 시간 추론 능력을 정밀하게 진단하는 자동 평가 시스템을 개발했다고 14일 밝혔다. 

이번 연구는 40년 전통의 ‘시간 데이터베이스’ 이론을 AI 평가에 최초로 접목한 것으로 사람이 일일이 문제를 만들던 기존 방식에서 벗어나 데이터베이스 내 시간 흐름을 분석해 13가지 유형의 복잡한 평가 문항을 자동으로 생성함으로써 유지보수 부담과 입력 데이터량을 평균 51%가량 획기적으로 줄였다.

또한 연구팀은 단순히 최종 답이 맞는지 틀리는지 여부를 판단하는 기존 방식에서 나아가, 답변 과정에서 제시된 날짜나 기간의 논리적 타당성까지 검증하는 지표를 새롭게 도입했다.

특히 연구팀은 겉으로는 정답처럼 보이지만 내부 논리나 날짜 근거가 잘못된 ‘시간 환각’ 현상을 잡아내는 새로운 검증 지표를 도입했다. 이를 통해 논리적 오류를 포함한 가짜 정답을 기존 대비 평균 21.7% 더 정확하게 탐지해 내는 성과를 거뒀다.

황의종 교수는 “방대한 전문 데이터를 평가 자원으로 전환함으로써 향후 의료·법률 등 다양한 분야의 인공지능 성능 검증에 실질적인 기반이 될 것으로 기대한다”고 말했다.