학습형 인덱스·강화학습 도입으로 대규모 데이터 검색·처리 성능 대폭 향상
[충청뉴스 김남숙 기자] AI와 클라우드 서비스의 급격한 확산으로 처리해야 할 데이터가 폭증하면서 데이터베이스의 처리 속도가 저하되는 '데이터 병목 현상'이 주요 과제로 떠오르고 있다. 이러한 가운데 단국대학교 최종무 교수(소프트웨어학과) 연구팀이 인공지능(AI)을 활용해 데이터 병목을 선제적으로 감지하고 스스로 제어하는 핵심 기술을 개발했다.
단국대는 최 교수 연구팀이 대용량 데이터의 검색 효율을 높이고 처리 지연을 크게 줄인 연구 성과를 데이터 관리 분야 최고의 국제학술대회인 ‘VLDB(Very Large Data Bases) 2026’에 정규 논문 2편으로 게재했다고 밝혔다. 이번 연구는 과학기술정보통신부 재원으로 정보통신기획평가원(IITP)의 ‘SW스타랩’ 사업 지원을 받아 수행됐다.
연구팀이 개발한 기술의 핵심은 AI를 이용해 대규모 데이터 환경에서 고질적으로 발생하는 ‘검색 효율 저하’와 ‘쓰기 지연(Write Stall)’ 문제를 동시에 개선한 점이다. AI가 데이터 분포를 사전 학습해 필요한 데이터를 신속히 찾아내는 한편, 데이터 처리량이 급증할 때 시스템 상태를 분석해 지연이 발생하기 전 선제적으로 처리량을 조절하는 방식을 적용했다.
첫 번째 논문인 「Rethinking Learned Index and LSM-tree Integration」에서는 머신러닝 기반의 ‘학습형 인덱스(Learned Index)’를 적용해 데이터 검색 효율을 극대화했다. 정해진 자료구조에 의존하던 기존 데이터베이스와 달리, 학습형 인덱스는 AI가 데이터의 분포와 위치 특성을 학습해 필요한 데이터의 위치를 정밀하게 예측·검색한다.
연구팀은 이를 대용량 데이터 저장·관리 시스템인 ‘Key-Value Store’에 도입해 연산 부담과 메모리 사용량을 절감했다. 또한 데이터 특성에 따라 학습형 인덱스의 핵심 설정값과 저장 단위 크기를 유연하게 조정함으로써 읽기·쓰기 성능을 동시에 개선하는 성과를 거뒀다.
두 번째 논문인 「How Much Can RocksDB Chew? Achieving Near-Zero Write Stalls with Sustainable RocksDB」에서는 글로벌 IT 기업들이 폭넓게 사용하는 데이터베이스 엔진인 ‘RocksDB’의 쓰기 지연 문제를 집중 다뤘다. 대규모 데이터베이스는 데이터 축적 시 내부 데이터 정돈·재배치 작업이 증가하며 시스템이 순간적으로 멈추는 '쓰기 지연' 현상이 발생하기 쉽다.
연구팀은 이를 해결하기 위해 강화학습 기반의 ‘S-RocksDB(Sustainable RocksDB)’를 개발했다. AI가 데이터베이스의 내부 상태를 지속적으로 학습하고, 지연이 발생하기 전 선제적으로 데이터 처리량을 조절하도록 설계했다.
실험 결과, 기존 RocksDB에서 1분당 최대 약 50초에 달했던 쓰기 지연 시간이 S-RocksDB 적용 후 1초 이내로 대폭 줄어들었다. 쓰기 지연 시간을 최대 50배가량 개선해 '제로(0)에 가까운 쓰기 지연'을 구현한 것으로, 대규모 클라우드 및 AI·빅데이터 플랫폼 등 다양한 산업 분야에서 활용도가 높을 것으로 기대된다.
최종무 교수는 “이번 성과는 그동안 단국대가 축적해 온 AI 기반 데이터 관리 기술의 경쟁력을 인정받은 결과”라며 “향후 대규모 데이터 서비스와 산업 현장에서 폭넓게 활용될 것으로 기대한다”고 밝혔다.
