[충청뉴스 이성현 기자] 국내 연구진이 실제 서버를 구축하지 않고도 컴퓨터 내부에서 차세대 반도체의 성능과 전력 효율을 미리 정확하게 검증할 수 있는 ‘가상 실험장’을 개발했다.
한국과학기술원(KAIST)은 전산학부 박종세 교수 연구팀이 개발한 LLM 서비스 인프라 시뮬레이터 연구가 컴퓨터 시스템 성능 분석 분야의 최고 권위 학회인 ‘ISPASS 2026’에서 최우수 논문상을 수상했다고 29일 밝혔다.
최근의 LLM 서비스 인프라는 단순한 GPU 연결을 넘어 다양한 가속기와 메모리를 결합하고, 프리필-디코드(prefill-decode) 분리나 프리픽스 캐싱(prefix caching) 등 복잡한 서빙 기법이 도입되는 추세다.
기존 시뮬레이터들은 특정 하드웨어나 단일 스케줄링 정책 분석에만 치우쳐 실제 서비스 환경의 복합적인 동작과 병목 현상을 정확히 잡아내기 어려웠다.
연구팀이 개발한 통합 시뮬레이터 ‘LLMServingSim 2.0’은 요청 처리, 배치 구성, 메모리 사용, KV 캐시 이동 및 재사용, 장치 간 통신, 전력 소모 등을 하나의 가상 런타임 흐름 안에서 유기적으로 모델링하는 데 성공했다.
연구팀은 실제 AI 서비스 환경에서 데이터 처리와 요청 분배가 맞물려 돌아가는 복잡한 동작을 시스템 수준에서 완벽히 재현했다.
이를 통해 단순히 '어떤 반도체가 더 빠른가'라는 단편적인 비교를 넘어 실제 데이터센터 가동 시 발생하는 성능 저하 요인과 효율성 간의 상호작용(Trade-off)을 초정밀 수준으로 추적할 수 있다.
이번 기술의 가장 큰 차별점은 엔비디아 중심의 GPU 환경을 넘어, 대한민국이 차세대 성장 동력으로 집중 육성 중인 신경망처리장치(NPU)와 메모리 내부 연산 반도체 기술인 프로세싱 인 메모리(PIM), 차세대 메모리 기술인 CXL 환경까지 폭넓게 지원한다는 점이다.
아직 상용화 단계에 이르지 않은 미래형 설계 단계의 AI 반도체라도 가상의 데이터센터 환경에 배치해 서비스 연산 속도가 얼마나 빨라지는지, 전력 소비는 얼마나 절감되는지 가상으로 미리 시험해 볼 수 있다.
여러 서버 자원을 분리하고 유연하게 연결해 사용하는 최신 분산형(disaggregated) 인프라 환경까지 지원해 차세대 AI 데이터센터를 고안 중인 클라우드 기업들에게 압도적인 효율성을 제공할 전망이다.
실제 연구 과정에서는 동시다발적으로 발생하는 수많은 데이터 이동과 전력 변화를 가상화하느라 시뮬레이터의 복잡성을 제어하는 추상화 작업이 최대 난제였다.
연구팀은 부단한 조율 끝에 실제 사용되는 vLLM 기반 시스템과 비교 시 성능, 메모리, 전력 전 분야에서 일관되게 높은 정확도를 확보하는 데 성공했다.
연구팀은 이번에 개발한 가상 인프라 시뮬레이터를 누구나 무료로 다운로드받아 자유롭게 개조할 수 있도록 오픈소스로 공개했다.
고가의 서버 인프라를 직접 구축할 여력이 부족했던 국내외 AI 서비스 기업과 반도체 팹리스 스타트업들이 설계 시행착오를 획기적으로 줄이고 상용화 시간을 대폭 단축할 수 있는 생태계가 마련된 셈이다.
박종세 교수는 “AI 서비스의 글로벌 경쟁력은 AI 모델 자체의 고도화뿐 아니라 이를 얼마나 안정적이고 저비용으로 운영하는가라는 인프라 최적화 기술에 달려있다”며 “향후 에이전트 기반 AI 서비스처럼 요청 구조가 고도로 복잡해지는 미래형 작업 환경까지 시뮬레이터 기능을 확장할 것"이라고 설명했다.
그러면서 "글로벌 기업과 연구자들이 본격적인 대규모 시스템 구현에 앞서 기본적으로 거쳐 가는 필수 사전 분석 플랫폼으로 정착시키겠다”고 덧붙였다.
