김건희 교수 연구진이 Microsoft Research, Nvidia의 연구진들과 공동으로 동영상 표현 학습에 사용 가능한 효율적인 딥러닝 모델 (multimodal Transformer)을 개발하였다.

모델을 학습하기 위해 새로운 자기 지도 학습 기법이 제안되었다. 이 방법은 수많은 동영상 데이터로부터 영상, 음성, 자연어 정보의 상관 관계를 모델이 스스로 배울 수 있도록 하여 사람의 레이블 없이도 더 높은 인식 성능을 달성할 수 있다.

또한 딥러닝 모델의 크기를 효과적으로 줄여 적은 자원으로도 우수한 성능을 얻을 수 있게 되었다.

본 연구는 마이크로소프트의 공식 기술 연구 블로그에서도 우수 연구로서 자세히 홍보되고 있다.

김건희 교수 연구진은 위의 연구를 포함하여 기계학습과 관련된 다음의 연구들을 진행하였다.

• 자기지도 동영상 표현 학습에 사용 가능한 효율적인 딥러닝 모델 개발
  “Parameter Efficient Multimodal Transformers for Video Representation Learning.”, Sangho Lee, Youngjae Yu, Gunhee Kim, Thomas Breuel(Nvidia), Jan Kautz(Nvidia) and Yale Song(Microsoft Research).

• 압축된 비디오 데이터에 활용 가능한 자기지도 표현 학습 방법 개발
  “Self-Supervised Learning of Compressed Video Representations.”, Youngjae Yu, Sangho Lee, Gunhee Kim and Yale Song(Microsoft Research).

• 차원수 압축 및 적대적 강건성을 제공하는 이산 압축 표현 학습 방법 개발
  “Drop-Bottleneck: Learning Discrete Compressed Representation for Noise-Robust Exploration.”, Jaekyeom Kim, Minjung Kim, Dongyeon Woo and Gunhee Kim.

• 역전파 알고리즘을 사용하지 않고도 성능 저하없이 계층 블럭을 병렬적으로 학습할 수 있도록 하는 AutoML 방법 개발
  “SEDONA: Search for Decoupled Neural Networks Toward Greedy Block-wise Learning.”, Myeongjang Pyeon, Jihwan Moon, Taeyoung Hahn and Gunhee Kim.

위 논문 4편은 오는 5월 ICLR(International Conference on Learning Representations) 2021에 발표할 예정이다.