KAIST, AI의 감각 혼선 및 환각 제어 기술 개발

[충청뉴스 이성현 기자] 국내 연구진이 시각과 청각 등 서로 다른 감각 정보가 뒤얽히거나 특수 센서의 물리적 의미를 잘못 해석해 인공지능이 존재하지 않는 환각을 만들어내는 현상을 대규모 재학습 없이 저비용·고효율로 억제하는 원천 기술을 개발했다.

한국과학기술원(KAIST)은 전기및전자공학부 노용만 교수 연구팀이 멀티모달 대형 언어모델(MLLM)의 감각 혼선을 줄이고 센서 데이터 이해도를 크게 높이는 기술을 개발했다고 31일 밝혔다.

이번 연구는 멀티모달 AI가 로봇, 자율주행 드론 등 실세계로 진출하면서 발생하는 감각 간 간섭과 특수 센서 오인식 문제를 해결하는 데 주력했다.

개발된 핵심 기술은 '센서 이해 AI' 기법인 DNA(Diverse Negative Attributes) 최적화와 감각 혼선을 방지하는 MAD(Modality-Adaptive Decoding) 기술이다.

우선 DNA 최적화 기술은 AI가 자주 틀리는 오답 노트를 활용해 열화상, 깊이 영상, 엑스레이 등 특수 센서의 물리적 특성을 소규모 데이터만으로 정밀 타격하여 학습시키는 방식이다.

이를 통해 어둠이나 연기 속에서도 사물의 물리적 의미를 정확히 식별하도록 돕는다.

함께 개발된 MAD 기술은 시각과 청각 정보가 복합 작용할 때, AI가 질의 맥락에 맞춰 최우선 집중해야 할 감각 모달리티를 스스로 판단·선택하도록 유도한다.

특히 기존의 상용 모델에 추가 학습 없이(Training-free) 플러그인(Plug-in) 방식으로 즉각 적용할 수 있다는 장점이 있다.

노용만 교수는 "멀티모달 AI가 실제 환경에서 사용되기 위해서는 다양한 센서의 특성을 정확히 이해하고 여러 감각 정보를 혼동하지 않는 것이 중요하다”며 "이번 연구는 대규모 재학습 없이도 AI의 감각 편향과 환각을 줄여 실제 생활과 산업 현장에서 믿고 사용할 수 있는 멀티모달 AI의 기반을 마련했다”고 설명했다.

한편 연구팀은 기술 개발과 함께 특수 센서에 대한 AI의 물리적 이해도를 정밀하게 측정할 최초의 종합 벤치마크인 VS-TDX를 직접 구축했다. 기존에는 열화상이나 깊이 영상 등 특수 센서의 이해도를 다각도로 검증할 표준 지표가 없었으나 연구진이 평가 기준을 새로 정립하며 검증 체계를 마련했다.

이번 기술은 슈퍼컴퓨터를 동원하거나 방대한 데이터를 처음부터 다시 재학습시키는 기존 방식에서 벗어나 컴퓨팅 사고력(computational) 비용을 크게 단축했다.

특히 인간이 오답 노트를 통해 실력을 개선하듯, 정답과 오답 및 틀린 이유를 비교 학습시킴으로써 추론 역량을 높인 점이 주요했다.

이번 연구 성과는 고가의 대형 서버 없이도 구동이 가능해 온디바이스 AI(On-device AI) 및 에지 컴퓨팅(Edge Computing) 환경에 최적화돼 있다.

야간이나 악천후를 뚫고 기동하는 지능형 정찰 드론, 연막 속 자율주행 무인 로봇, 공항 스마트 X-ray 보안 검색, 병원의 정밀 의료 영상 분석 등 극한 환경 및 고도의 신뢰성이 필요한 다양한 산업 현장에 조속히 이식될 전망이다.

연구진은 향후 촉각·후각을 아우르는 초감각 AI로의 확장과 더불어, 센서 결손이나 정보 단절 상황에서도 안정적으로 작동하는 AI 연구를 추진할 방침이다.