[충청뉴스 이성현 기자] 한국과학기술원(KAIST)은 전산학부 박종세 교수 연구팀이 최근 열린 ‘2024 IEEE 국제 워크로드 특성화 심포지엄(IISWC 2024)’에서 최우수 논문상과 최우수 연구 기록물 상을 동시에 수상했다고 11일 밝혔다.
연구팀은 ‘초거대 언어모델 추론 서비스 제공을 위한 HW/SW 공동 시뮬레이션 인프라’ 논문으로 두 상을 동시에 수상했다.
IISWC는 컴퓨터 시스템 워크로드 특성화 분야에서 권위를 자랑하는 국제 학회이며, 개최시마다 최우수 논문상과 최우수 연구 기록물 상을 하나씩 수여하는데 올해에는 박 교수팀의 논문이 두 상을 모두 단독으로 수상했다.
이번 수상 연구는 대규모 거대언어모델(LLM) 추론 서비스를 위한 하드웨어와 소프트웨어 통합 시뮬레이션 인프라를 최초 개발한 점, 향후 LLM 추론 연구의 지속적인 발전을 위해 오픈소스로 공개한 코드의 완성도와 사용자 편의성 측면에서 높은 평가를 받았다.
이번 연구에서 연구팀은 챗GPT와 같은 LLM 추론 서비스를 실행하는 대규모 시스템을 여러 가지 하드웨어와 소프트웨어를 추가해 시뮬레이션할 수 있는 시뮬레이션 인프라를 제안했다.
이를 통해 GPU(그래픽처리장치), NPU(신경망처리장치)와 PIM(지능형메모리반도체)과 같은 다양한 하드웨어뿐만 아니라 반복 수준 스케쥴링, KV 캐시 페이징과 같은 초거대 언어모델 추론을 위한 소프트웨어적 요소를 모두 함께 시뮬레이션할 수 있었다.
이번 연구는 KAIST 전산학부 박종세 교수팀의 조재홍, 김민수, 최현민, 허구슬 학생들이 주도했다.
박종세 교수는 “이번 연구를 통해, LLM 클라우드 상에서 다양한 AI 반도체와 시스템 소프트웨어의 성능을 종합적으로 평가해 볼 수 있는 오픈소스 도구(Tool)을 공개할 수 있게 되어 기쁘고, 앞으로도 생성형 AI를 위한 클라우드 시스템 연구를 지속해 나갈 것이다”고 말했다.
