KAIST, 생성형 AI 안전성 검증 기술 개발

[충청뉴스 이성현 기자] 국내 연구진이 생성형 인공지능(AI)의 숨은 취약점과 보안 약점을 기존 대비 7배 이상 탐지해 내며 AI 안전성 검증과 학습 안정성을 동시에 끌어올린 차세대 프레임워크를 개발했다.

한국과학기술원(KAIST)은 전기및전자공학부 김준모 교수 연구팀이 대규모 언어모델(LLM)의 안전성을 검증하는 레드팀 기술의 한계를 극복한 새로운 프레임워크 ‘스테이블-지플로우넷(Stable-GFlowNet)’을 개발했다고 30일 밝혔다.

이번 연구는 기존 레드팀 기법의 구조적 한계인 모드 붕괴(Mode Collapse) 현상을 해결하고 AI 모델의 보안을 정밀하게 진단할 수 있는 분석적 틀을 제공한다는 점에서 의미가 크다.

기존 레드팀 검증 체계는 보상을 최대화하는 강화학습(RL)에 의존함에 따라 높은 공격 성공률을 보이는 소수의 프롬프트만 반복 생성하는 치우침 현상이 주된 문제로 지적돼 왔다.

이에 대한 대안으로 보상 비례형 생성 기술인 생성 흐름 네트워크(GFlowNet)가 주목받았으나 학습 과정의 높은 계산 복잡도와 불안정성 탓에 거대 언어모델 현장 적용에는 한계가 존재했다.

연구팀은 이러한 불안정성을 극복하기 위해 대조 궤적 균형(CTB) 기법, 노이즈 경사 가지치기(NGP), 유창성 안정화 장치(MKS) 등 세 가지 핵심 알고리즘을 프레임워크에 합성했다.

이 중 핵심 알고리즘인 Contrastive Trajectory Balance Loss의 발견은 이론적으로 기존 방법론과 동일한 최적 수렴 지점을 공유하면서도 정규화 상수 추정을 회피할 수 있어 정규화 상수 추정이 까다로운 환경에서 학습 안정성을 대폭 끌어올린 것으로 분석된다.

성능 평가 결과 스테이블-지플로우넷은 기존 기술이 탐지한 17개의 고유 공격 유형보다 대폭 늘어난 134개의 취약점 유형을 발굴하는 동시에 92%의 높은 공격 성공률을 유지했다.

나아가 해당 프레임워크로 학습된 방어 모델은 교차 공격(Cross Attack) 평가에서도 방어 성능과 일반화 능력을 고루 입증했다.

이번 성과는 단순한 보안 검증을 넘어 0차 최적화가 필요한 다른 언어 과제나 분자 생성(Molecular Generation) 등 다양한 분포 매칭 문제로의 확장 가능성을 보여준다.

비록 이론적 연구 단계로서 실용화까지는 일정 시간이 소요될 전망이나, 거대 언어모델의 사후 학습(Post-training) 지원과 AI 과학자 연구 등 다양성 확보가 필수적인 차세대 인공지능 연구 전반에 기여할 것으로 평가된다.

김준모 교수는 “이번 기술은 적은 데이터와 잡음이 많은 현실적인 환경에서도 AI의 다양한 취약점을 안정적으로 찾아낼 수 있다는 점에서 의미가 크다”며 “생성형 AI를 실제 서비스에 적용하기 전에 더 폭넓은 위험 요소를 찾아내고 방어할 수 있어, 더욱 안전하고 신뢰할 수 있는 AI 개발의 핵심 기반기술이 될 것으로 기대한다”고 설명했다.