서울대학교 전병곤 교수 연구진,
인공지능 수행의 효율성을 크게 높이는 기술로 세계 선도
전병곤 교수 연구진은 그래픽 처리 장치(GPU)를 활용하여 인공지능 학습과 추론 수행시 기존 시스템 대비 최대 22배 빠른 속도로 수행하는 님블(Nimble) 시스템을 개발하였다. 해당 시스템을 통해 응용 서비스에서 인공지능 모델을 곧바로 고속 수행하는 것이 가능해져서, 다양한 분야에서 인공지능 모델을 효율적으로 사용하는 것이 가능할 것으로 기대한다.
현재 수많은 기업과 연구소에서 인공지능 계산의 편의성을 위해 파이토치(PyTorch), 텐서플로우(TensorFlow) 등의 인공지능 시스템을 사용하고 있다. 이러한 시스템들은 인공지능 학습과 추론 수행 속도 향상을 위해 GPU를 이용한다. 이때, GPU에 연산 수행을 요청하기 전에 이를 위한 준비를 하는 스케줄링 과정을 매번 진행한다. 전병곤 교수 연구진은 현 인공지능 시스템들이 스케줄링 과정의 오버헤드로 인해 GPU를 효율적으로 활용하지 못하고, 또한 GPU에서 병렬로 수행할 수 있는 연산들을 병렬로 수행하지 못한다는 것을 밝혀 내었다. 연구진은 이러한 문제를 해결하기 위해 사전에 스케줄링 과정을 한 번만 하고 이후에는 스케줄링 과정 없이, 여러 개의 GPU 스트림을 사용하여 다수의 GPU 연산을 동시에 수행하는 인공지능 시스템 님블을 개발하였다. 님블은 파이토치 대비 인공지능 추론을 22.3배, 학습을 3.6배 빠르게 수행하며, 인공지능 추론 특화 시스템인 엔비디아(NVIDIA)사의 텐서RT(TensorRT)보다 2.8배 빠르게 인공지능 추론을 수행한다. 님블은 개발 시 사용자 편의성을 고려해 설계되었다. 코드를 몇 줄만 수정하면 기존에 사용하던 파이토치 모델을 님블을 이용해 수행할 수 있다.
https://cse.snu.ac.kr/sites/default/files/node--notice/20201026_bgchun2.jpg
그림1. 님블(Nimble)의 스케줄링 과정
이번 연구 결과는 오는 12월 온라인으로 개최될 예정인 인공지능 분야 세계 최고 학회 뉴립스(Neural Information Processing Systems·신경정보처리시스템학회)의 스포트라이트(spotlight) 세션에서 발표될 예정이다. 이 스포트라이트 세션은 올해 뉴립스에 제출된 9467편의 논문 중 약 상위 4%의 논문에만 (구두 세션: 105편, 스포트라이트 세션: 280편) 주어지는 발표 기회이다.