[충청뉴스 이성현 기자] 국내 연구진이 인공지능(AI) 시스템의 안전성과 신뢰성을 검증하는 핵심 국제표준을 제정하는 성과를 거뒀다.
한국전자통신연구원(ETRI)은 AI 시스템의 테스트 절차와 방법론을 정의한 ‘AI 시스템 테스팅 개요’ 표준이 국제표준화기구(ISO/IEC JTC1)에서 공식 제정됐다고 19일 밝혔다.
ETRI는 이번 성과가 인공지능의 데이터 품질, 모델 성능, 편향성 등 AI 전주기 테스트 방법론을 최초로 정의한 것이라고 설명했다.
또 이 기술은 향후 국제 공인시험, 국제 적합성 시험 평가 등에 활용될 최초의 국제표준 제정이라는 점에서 의미가 크다고 연구원은 설명했다. 인공지능 기본법 및 EU AI ACT 등에서 고영향, 고위험 인공지능 시스템에 대해 필수사항으로 요구되는 검인증 방법 및 적합성 시험 방법 기준을 만들었다는 의미이기도 하다.
이번 표준은 구체적으로 기존 소프트웨어 테스트 표준을 AI 시스템에 맞게 확장한 것으로, AI 특성에 맞춘 ▲데이터 품질 테스트 ▲모델 테스트 등 새로운 테스트 단계를 정의했다.
이를 통해 AI 시스템의 핵심 요소인 데이터 품질부터 모델 성능까지 종합적으로 검증할 수 있는 기반을 마련했다. 아울러 AI의 잠재적 위험을 사전에 점검하기 위해 ‘위험 기반 테스트’ 개념도 도입했다.
이를 바탕으로 ▲AI 편향성 검증을 위한 편향성 테스트 ▲입력값 변화를 이용한 적대적 테스트 ▲운영 중 성능 저하를 확인하는 드리프트 테스트 등 AI 특화 테스트 절차를 구체화했다.
이 표준은 앞으로 제정될 ▲AI 레드팀 테스팅 ▲생성형 AI 테스팅 등 후속 표준의 기반이 되는 ‘총론’격 표준으로 AI 신뢰성 검증 체계의 근간을 우리나라가 설계했다는 데 큰 의미가 있다.
이번 국제표준은 ETRI 지능정보표준연구실 전종홍 책임연구원이 최초 제안했고, 소프트웨어 테스트 분야 세계적 권위자이자 STA테스팅컨설팅의 기술이사인 스튜어트 리드(Stuart Reid) 박사와 함께 공동 에디터로 활동해 완성했다. 소프트웨어 테스팅 전문기업인 STA테스팅컨설팅은 ETRI 창업기업 중 하나다.
방승찬 원장은 “AI의 안전성과 신뢰성을 확보하는 것은 인공지능 시대의 핵심 과제"라며 "이번 국제표준 제정은 대한민국이 AI 기술뿐 아니라 AI 테스팅과 평가 규범을 선도하는 분기점이 될 것”이라고 말했다.
한편 ETRI는 이번 제정 표준을 기반으로 현재 개발 중인 후속 테스팅 시리즈 표준인 레드팀 테스팅 표준(ISO/IEC 42119-7)을 비롯해 온톨로지 표준(ISO/IEC 42119-10), AI 벤치마크(ISO/IEC 42119-11) 등의 후속 시리지를 계속 이어 개발하며 AI 테스팅 국제 표준 시리즈 개발을 선도할 계획이다.
