[충청뉴스 이성현 기자] 화면 속 텍스트와 이미지를 분석하는 수준에 머물렀던 인공지능(AI)이 눈앞의 유리창을 인식하고 자신의 행동이 가져올 미래를 예측해 움직이는 ‘물리 기반 지능’의 단계로 진화했다.
한국과학기술원(KAIST)은 전산학부 윤성의 교수 연구팀이 빛과 물질의 상호작용, 공간 인식, 미래 상황 예측, 그리고 로봇의 행동 계획까지 유기적으로 아우르는 ‘피지컬 AI(Physical AI)’ 핵심 기술을 전격 개발했다고 6일 밝혔다.
이번 성과는 파편화돼 있던 시각인식, 3차원 복원, 로봇 제어 기술을 하나의 완전한 기술 흐름으로 연결해 낸 쾌거다. 특히 자율주행차, 휴머노이드, 스마트 물류 등 실제 물리 환경에서 작동해야 하는 차세대 자율 시스템 구현을 수년 이상 앞당길 혁신적 이정표로 평가받는다.
윤성의 교수팀이 이뤄낸 이번 피지컬 AI 성과는 세계 최고 권위의 인공지능 및 컴퓨터 비전 학회인 ‘ICLR 2026’과 ‘CVPR 2026’에서 그 가치를 공인받았다.
연구팀은 두 학회에서 각각 단 1.13%와 0.8%의 논문에만 주어지는 최상위 발표 기회인 ‘구두 발표’ 2편을 비롯해 ‘하이라이트 논문’ 2편 등 총 4편의 논문을 연달아 올리며 전 세계 학계의 이목을 집중시켰다.
기존 AI 기술들은 이미지를 인식하거나 로봇을 제어하는 등 개별적인 문제를 독립적으로 다뤄왔다.
반면 연구팀은 AI가 현실 세계를 정확히 파악하고 움직이기 위해 그래픽스, 컴퓨터 비전, 로보틱스 분야를 정교하게 융합했다.
현실의 복잡한 반사, 굴절, 그림자 등 까다로운 광학 현상을 AI가 스스로 이해할 수 있는 하나의 프레임워크로 통합해 낸 것이 핵심이다.
연구팀이 개발한 피지컬 AI 플랫폼은 현실 세계의 장벽을 뛰어넘는 4가지 유기적 원천 기술로 구성돼 있다.
우선 유리까지 이해하는 혜안을 제공하는 글린트(GLINT) 기술이다. 기존 AI는 유리창을 마주하면 유리에 비친 잔상과 유리 너머의 실제 풍경을 구분하지 못해 충돌하는 치명적 한계가 있었다.
연구팀은 가우시안 방사 전달 기술을 통해 반사광과 투과광을 분리 분석함으로써, AI가 투명한 물체와 환경을 완벽하게 인지하도록 만들었다. 이 논문은 CVPR 2026 구두 발표작이자 상위 74편에만 주어지는 최고 논문 후보로도 선정됐다.
빛의 움직임을 학습하는 지능인 라디오GS(RadioGS) 기술은 조명이 바뀌면 사물을 오인하던 기존 기술을 극복하기 위해 빛이 물체에 닿아 퍼지는 역렌더링 기반 기술을 적용했다. 햇빛이나 실내등 가리지 않고 사물의 본질적인 재질과 구조를 고스란히 꿰뚫어 보며 ICLR 2026 구두 발표작으로 선정되는 영예를 안았다.
사진 한 장으로 경로를 탐색하는 비주얼-RRT(Visual-RRT) 기술은 로봇에게 복잡한 목적지 좌표 정보를 주지 않아도 로봇이 현재 보는 장면과 목표 공간이 담긴 사진 한 장만 비교해 가며 미지의 공간에서 스스로 최적의 이동 경로를 찾아 도달할 수 있다. 이는 실증에도 성공했다.
마지막으로 미래를 예측해 행동을 계획하는 클래드(CLaD) 기술은 인간이 움직이기 전 자신의 행동 결과를 생각하듯, 크로스모달 잠재 역학 기술을 통해 자신의 행동이 초래할 미래 상태를 미리 시뮬레이션한 뒤 가장 안전하고 효율적인 전략을 선택해 실행한다. 비주얼-RRT와 클래드 기술 모두 CVPR 2026 하이라이트 논문으로 선정됐다.
이번 피지컬 AI 기술이 본격적으로 실용화 단계에 접어들면 산업 현장과 일상에 변화가 일어날 것으로 전망된다. 당장 로봇이 통유리문이나 유리 진열장이 가득한 복잡한 빌딩 내부를 사고 없이 안전하게 이동할 수 있게 되며 자율주행 차량 역시 악천후나 불규칙한 조명 변화 속에서도 주변 환경을 정교하게 해석해 낼 수 있다.
메타버스나 디지털 트윈 분야에서도 현실 세계를 똑같이 복제해 미래 상황을 시뮬레이션하는 도구로 직결된다.
윤성의 교수는 “이번 연구는 AI가 화면 속 데이터를 분석하는 수준을 넘어, 물리적 정합성을 갖춘 세계 모델을 기반으로 미래를 예측하고 스스로 행동을 결정할 수 있음을 입증한 것”이라며 “앞으로 실제 다양한 로봇 플랫폼에 이를 이식해, 어떤 낯선 환경에서도 스스로 지속 학습하고 진화하는 ‘체화형 인공지능’ 구현을 최종 목표로 연구를 확장하겠다”고 설명했다.
