KAIST, 심층 학습 향상 기술 개발...‘더 정확하고 빠르게’

한국과학기술원(KAIST)이 심층 학습(딥러닝) 모델 예측 정확도와 훈련 속도가 대폭 향상된 새로운 기술을 개발했다.

심층 학습 모델을 학습하는 과정은 반복적으로 모델의 매개변수를 최적화하는 단계로 이뤄진다.

KAIST 이재길 교수 연구팀이 개발한 기술은 이런 심층 학습 모델의 학습 진행 상황에 맞게 최적의 배치를 구성하도록 하는 기술이다.

배치 선택에서는 현재 모델 학습 단계에 가장 도움이 되는 데이터를 효과적으로 선택해야 한다. 도움이 될지를 판단하기 위해 이 교수팀이 개발한 방법은 해당 데이터에 대한 이전 추론 결과를 활용한다.

연구팀은 새로 개발한 배치 선택 방법론을 `최신 편향(Recency Bias)'이라고 이름을 붙이고 이미지 데이터에 널리 활용되는 다양한 합성 곱 신경망(CNN)의 학습에 적용했다.

그 결과 기존 방법론 대비 예측정확도(이미지 분류 문제)에서 최대 21% 오류를 감소시키는 한편 훈련 속도(심층 신경망 미세 조정 문제)에서는 최대 59% 시간을 단축했다.

제1 저자인 송환준 박사과정 학생은 "이번 연구는 심층 학습의 핵심 기술“이라며 "다양한 심층 신경망에 폭넓게 적용할 수 있어 심층 학습의 전반적인 성능 개선에 기여할 것”이라고 말했다.

이재길 교수는 "이 기술이 텐서플로우(TensorFlow) 혹은 파이토치(PyTorch)와 같은 기존의 심층 학습 라이브러리에 추가되면 기계학습 및 심층 학습 학계에 큰 파급효과를 낼 수 있다“고 전망했다.