■ 머신러닝 하이퍼파라미터 최적화 가속을 위한 새로운 데이터 관리 방식과 계산 스케줄링 방법 제안
■ 제안한 방법을 구현한 시스템 히포(Hippo) 개발
■ 다양한 딥러닝 하이퍼파라미터 최적화에서 기존 방식 대비 최대 2.76배 최적화 시간 단축 및 최대 4.81배 그래픽 처리 장치 사용량 단축

<a href='https://spl.snu.ac.kr/' target='전병곤 교수 연구진'>전병곤 교수 연구진</a>과 <a href='https://friendli.ai/' target='FriendliAI'>(주)프렌들리에이아이(FriendliAI)</a>는 엠엘옵스(MLOps)의 핵심 부분인 머신러닝 하이퍼파라미터 최적화 도중 발생하는 중복된 연산을 자동으로 탐지하고 제거하는 시스템인 히포(Hippo)를 개발하였다. 본 시스템을 통해 하이퍼파라미터 최적화 시 걸리는 전체 학습 시간과 그래픽 처리 장치(GPU) 사용량을 큰 폭으로 줄일 수 있을 것으로 기대한다.

하이퍼파라미터는 머신러닝 학습 전에 미리 선택해서 정해야 하는 값을 가리키며, 머신러닝 모델의 성능에 큰 영향을 끼치는 중요한 요인이다. 예로 학습률(learning rate), 배치(batch) 크기 등이 하이퍼파라미터이다. 그러나 최적의 하이퍼파라미터를 찾는 과정은 시행착오(trial-and-error)를 기반으로 하고 여러 하이퍼파라미터의 조합을 함께 최적화 해야하기 때문에, 해당 과정은 계산 집약적이고 많은 자원을 필요로 한다.

이러한 문제를 해결하기 위해 해당 연구진은 머신러닝 하이퍼파라미터 최적화 과정에서 발생하는 중복된 연산을 자동으로 탐지하고 제거하는 시스템을 개발했다. 구글의 비지어(Vizier)와 같은 기존의 머신러닝 하이퍼파라미터 최적화 시스템에서는 연산 수행의 최소 단위를 시행 (trial)으로 처리하는 반면, 히포는 시행을 스테이지(stage)라는 더 세분화된 단위로 쪼개어 여러 시행 간에 서로 동일한 하이퍼파라미터 값을 가져 연산이 중복되는 부분을 표현할 수 있도록 했다. 스테이지를 효율적으로 관리하기 위해 검색 계획(search plan)이라는 트리 형태의 자료 구조를 제안하고, 더 나아가 전체 최적화 수행 시간을 줄이기 위해 스테이지 간의 주요 경로를 배칭하여 스케줄하는 것을 구현했다.

하이퍼파라미터 최적화 시 히포를 사용하면 전체 학습 시간과 그래픽 처리 장치 수행량을 각각 2.76 배, 4.81 배 줄일 수 있다. 히포는 다양한 하이퍼파라미터 최적화 알고리즘과 머신러닝 프레임워크를 사용할 수 있도록 구현하였다. 이번 연구 결과는 <a href='https://vldb.org/2022/' target='VLDB'>VLDB(International Conference on Very Large Data Bases) 2022</A>에서 발표될 예정이다.

“Hippo: Sharing Computations in Hyper-Parameter Optimization”, Ahnjae Shin, Joo Seong Jeong, Do Yoon Kim, Soyoung Jung, Byung-Gon Chun. 48th VLDB 2022.