[충청뉴스 이성현 기자] 한국과학기술원(KAIST)이 마이크로소프트(MS)의 글로벌 AI 안전성 및 보안 연구 네트워크인 ‘EXTRA’ 프로그램에 국내 기관으로는 유일하게 선정됐다.
KAIST는 28일 전산학부 손수엘 교수 연구팀이 마이크로소프트 AI 레드팀(Microsoft AI Red Team)이 운영하는 글로벌 연구 지원 프로그램 ‘EXTRA(External Red Team Alliance, 외부 레드팀 연합)’의 대상자로 선정됐다고 밝혔다.
EXTRA는 고도화되는 AI 시스템의 사이버 보안, 다국어 환경, 문화적 맥락, 오용 가능성 등을 입체적으로 검증하기 위해 MS가 올해 새로 신설한 연구 협력 프로그램이다.
전 세계 6개 대륙 10여 개 대학만이 선택받았으며 한국에서는 KAIST가 유일하다.
이번 선정으로 KAIST는 수행 기간 제약이 없는 '기프트 어워드(Gifted Award)' 형태로 미화 2만5000달러(한화 약 3700만원)의 연구비를 지원받는다.
MS AI 레드팀 리더 램 샹카르 시바 쿠마르는 "점점 강력해지는 AI를 안전하게 다루는 학계 연구자들을 적극 지원할 것"이라고 전했다.
배충식 총장도"세계적 수준의 AI 보안 연구 역량을 입증한 성과"라고 설명했다.
이에 따라 연구팀은 지원금을 활용해 '컴퓨팅 자원 절약을 위한 언어모델 가드레일 연구'에 본격 착수한다.
대규모 언어모델(LLM)이 유해하거나 위험한 출력을 생성하지 못하도록 차단하는 통제 장치(가드레일)를 한정된 컴퓨팅 자원 환경에서도 효율적으로 동작하도록 구현하는 것이 핵심이다.
아울러 생성형 AI를 겨냥한 다양한 적대적 공격인 ▲프롬프트 주입(Prompt Injection) ▲모델 탈취 ▲멤버십 추론 ▲개인정보 추출 등의 취약점을 분석해 실용적 방어막을 구축한다.
이를 통해 웹 에이전트와 에이전틱 브라우저 등 실세계 AI 서비스 환경에서 작동하는 에이전트의 안전성을 대폭 강화할 예정이다.
손수엘 교수는 "AI의 확산 속도만큼 안전성과 신뢰성을 확보하는 기술이 핵심 경쟁력이 되고 있다"며 "실제 서비스 환경의 보안 위협을 체계적으로 분석해 누구나 안심하고 쓰는 AI 환경 조성에 기여하겠다"고 했다.
