​이재진 교수 연구실 소속의 팀(ShallowSpeed : 배수민, 강민규, 김진표)이 삼성전자 SAIT에서 주최하여 8월 1일부터 10월 6일까지 진행된 "삼성 인공지능/컴퓨터공학 챌린지 2024″의 컴퓨터공학 분야에서 최우수상을 수상하였다.

대규모 언어 모델(Large Language Model)이 다양한 분야에서 높은 성과를 보여주면서 수요가 폭발적으로 증가함에 따라 On-device 시스템에서 제한된 자원으로 추론하는 것이 중요해졌다. 이러한 추세에 맞추어, 올해로 4회를 맞는 "삼성 인공지능/컴퓨터공학 챌린지 2024″는 컴퓨터공학 분야 과제에서 jetson 디바이스 내 한정된 메모리와 GPU를 활용하여 시스템 및 알고리즘 최적화를 통해 대규모 언어 모델의 정확도를 떨어뜨리지 않으면서 추론 성능을 높이는 것이었다.

해당 팀은 기존 GPU 연구 경험을 바탕으로 다양한 최적화를 적용하여 Phi-3-medium 모델로 text generation 추론 시간을 단축하였고. 그 결과 baseline 대비 200배 이상 가속하여 1위를 기록하는 성과를 내었다. 챌린지에 참여한 ShallowSpeed 팀의 배수민 학생은 "이번 챌린지를 통해 새로 접한 환경에서 문제를 해결해 나가는 능력을 키울 수 있었고, 최적화를 진행해나가면서 새로운 지식들을 얻어갈 수 있었던 유익한 경험이었다"고 밝혔다. 최우수상 팀에는 부상으로 상금 1,000만 원이 수여된다.