KAIST, 맞춤형 AI 안정성 유지 기술 개발

[충청뉴스 이성현 기자] 대형언어모델을 사용자 데이터에 맞게 재학습시키는 파인튜닝 과정에서 인공지능의 안전 규칙이 무력화되는 고질적인 결함을 해결하고 학습 전보다 보안성을 더 강력하게 강화할 수 있는 원천 기술이 국내 연구진에 의해 개발됐다.

한국과학기술원(KAIST)는 전기및전자공학부 김창익 교수 연구팀이 AI 개인화 시대의 핵심 과제인 맞춤형 성능과 안전성을 동시에 만족하는 '버퍼 앤드 리인포스' 학습 프레임워크를 개발했다고 15일 밝혔다.

이번 연구 성과는 기계학습 분야 최고 권위 학술대회인 'ICML 2026'에서 상위 약 2.2%에 주어지는 스포트라이트 논문으로 선정됐다.

최근 기업과 개인이 자신만의 데이터를 AI에 학습시켜 특화된 비서를 구축하는 사례가 늘고 있으나 파인튜닝 이후 AI 본래의 안전장치가 약화되는 현상은 상용화의 걸림돌로 지적돼 왔다.

특히 최근에는 기업이나 개인이 서비스형 파인튜닝(FaaS) 형태로 모델을 구축하는 사례가 증가함에 따라 이 문제가 실제 서비스 환경에서 매우 심각한 위험으로 이어질 수 있다는 문제의식이 연구의 배경이 됐다.

기존에는 학습 도중 모델의 변화를 억제하거나 안전 데이터를 추가 투입하는 방식을 썼으나 이는 학습 비용을 증가시키거나 사용자 작업 성능을 도리어 저하시키는 한계가 존재했다.

연구팀은 원래 거부해야 할 위험한 요청에도 응답하는 탈옥 상태의 AI를 파인튜닝하면 안전성이 크게 훼손되지 않는다는 기존 현상에 주목해 완충 모듈인 '버퍼로라'를 개발했다.

연구팀이 경사도 분석을 통해 정량적으로 규명한 결과 이미 위험한 응답을 하도록 기울어진 탈옥 상태에서는 추가적인 악성 데이터가 들어와도 관련 학습 신호가 포화되어 모델 본체를 변화시키지 못하는 반면 정상적인 사용자 데이터는 효과적으로 학습한다는 사실을 세계 최초로 발견했다.

이에 따라 재학습 과정에서만 버퍼로라를 임시 부착해 악성 신호가 본체에 스며들지 못하도록 방어벽을 친 뒤 학습이 끝나면 분리하는 접근법을 완성했다. 이후 적용되는 안전성 강화 모듈인 '리인포스로라' 단계에서는 서로 다른 정보를 분리하는 수학적 기법인 큐알 분해를 도입했다.

연구팀은 AI의 안전성을 높이는 과정에서 모델이 지나치게 보수적으로 답변하거나 도메인 지식이 약화되는 충돌 현상을 막기 위해 큐알 분해 기반의 직교 결합 방식을 설계해 맞춤 성능을 유지하면서 안전성만 선택적으로 강화하는 데 성공했다.

실험 결과 모든 학습 데이터가 유해 정보로 구성된 극한의 오염 환경에서도 AI의 위험 응답률은 약 8% 수준으로 억제돼 재학습을 하지 않은 기존 모델의 18%보다 높은 보안성을 입증했다.

이 구조는 서비스 제공자가 사전에 모듈을 한 번 학습해 두면 다양한 사용자의 요청에 반복적으로 활용할 수 있어, 매번 복잡한 안전 학습을 새로 수행할 필요가 없고 기존 파인튜닝 파이프라인에도 쉽게 결합돼 실용성이 높다.

김창익 교수는 "이번 연구는 누구나 자신의 데이터로 맞춤형 AI를 자유롭게 만들면서도 더욱 안전하게 사용할 수 있도록 하는 핵심 기반 기술"이라며 "AI 안전성이 더욱 강조되는 AI 개인화와 AI 에이전트 시대에 신뢰할 수 있는 AI 서비스 환경을 구축하는 데 크게 기여할 것으로 기대한다"고 설명했다.

향후 연구팀은 텍스트 대형언어모델을 넘어 멀티모달 AI와 에이전트형 AI 시스템에서도 안전한 개인화가 가능하도록 후속 연구를 이어갈 계획이다.