서울대 컴퓨터공학부 송현오 교수 연구진,
머신러닝최우수학회 ICML2019 논문 2편 Long talk (4.6%) 선정

송현오교수 연구진(머신러닝 연구실, http://mllab.snu.ac.kr) 은 오는 6월 머신러닝 분야 최우수 학회인 ICML 2019에 3편의 논문을 그리고 CVPR 2019에도 1편을 게재할 예정이라고 밝혔다.

특히 ICML 논문 중 두 편은 Long talk (156/3424 = 4.6%) 로 선정되는 성과를 거두었다.

1. Parsimonious Black-Box Adversarial Attacks via Efficient Combinatorial Optimization (Seungyong Moon*, Gaon An*, Hyun Oh Song) (Long talk)

딥러닝 모델을 속이는 데에 있어서 모델 내부의 gradient 정보를 이용한 경사 하강법이 아주 효과적인 방법임이 잘 알려져 있지만 black-box attack 환경에서는 공격자가 gradient 정보에 접근할 수 없다고 가정하기 때문에 위와 같은 방법을 사용할 수 없다. 이에 따라 최근의 연구에서는 추가적인 모델 액세스를 통해 gradient를 추정하려는 시도를 하고 있으나, 이 방법은 모델 액세스 비용이 많이 들고 하이퍼파라미터에 민감하다는 단점이 있다. 이러한 문제를 해결하기 위해 송 교수 연구팀은 연속적인 기존의 목적함수를discrete optimization로 바꾸어 푸는 새로운 시도를 하였고 [식 1], submodular function maximization에서 주로 사용되는 기법인 local search algorithm을 응용하는 최적화 알고리즘을 설계하였다. [그림 1]. 연구팀은 이러한 최적화된 black-box adversarial attack 알고리즘을 이용하여 머신러닝 벤치마크 데이터셋인 ImageNet에서 공격에 필요한 쿼리의 수를 2배 이상 감소시킬 수 있었으며 동시에 공격 성공률도 향상시키는 성과를 거두었다.

https://cse.snu.ac.kr/sites/default/files/node--notice/20190528_sik1.jpg https://cse.snu.ac.kr/sites/default/files/node--notice/20190528_img1.jpg

논문 preprint 링크: https://arxiv.org/abs/1905.06635
Github source code 링크: https://github.com/snu-mllab/parsimonious-blackbox-attack

[문의사항]
송현오 서울대학교 컴퓨터공학부 교수 / hyunoh@snu.ac.kr
문승용 서울대학교 자유전공학부 학사과정 / symoon11@snu.ac.kr
안가온 서울대학교 경제학부 학사과정 / white0234@snu.ac.kr

2. EMI: Exploration with Mutual Information (Hyoungseok Kim*, Jaekyeom Kim*, Yeonwoo Jeong, Sergey Levine, Hyun Oh Song) (Long talk)

강화학습이란 어떤 환경을 탐색하는 에이전트가 주어진 상태에서 보상의 총합을 최대화하는 행동을 택하도록 하는 최적의 정책을 학습하는 알고리즘이다. 하지만, 보상이 희소한 환경에서는 에이전트가 아직 가보지 못한 상태들을 탐색할 유인이 사라지게 되어, 최적의 행동 정책을 학습하는 데 큰 어려움이 존재한다. 이를 보완하기 위해 최근 일련의 연구에서 내재적 보상 (intrinsic reward)을 통해 에이전트의 탐색을 돕는 방안을 제시하였지만, 상태를 복원하는 과정을 거치기 때문에 Atari game와 같이 상태의 차원이 높은 경우에 상당히 비효율적이라는 단점이 존재하였다. 이러한 문제를 해결하기 위해 송 교수 연구팀은 고차원의 상태와 행동을 저차원의 공간으로 embedding 하는 딥러닝 네트워크를 설계하였다. 위의 과정에서 정보의 손실을 막기 위해 embedding space위의 trajectory상에서 상태와 행동 간 mutual information의 lower bound을 최대화하도록 네트워크를 학습하였다 [식 2]. 연구진은 이러한 최적화된 강화학습 탐색 기법을 이용하여 보상이 희소한 Atari games 나 robotic locomotion tasks 환경에서, 최적의 행동 정책을 효율적으로 학습하는데 성공하는 성과를 거두었다 [그림2].

https://cse.snu.ac.kr/sites/default/files/node--notice/20190528_sik2.jpg https://cse.snu.ac.kr/sites/default/files/node--notice/20190528_img2.jpg

논문 preprint 링크: https://arxiv.org/abs/1810.01176
Github source code 링크: https://github.com/snu-mllab/EMI

[문의사항]
송현오 서울대학교 컴퓨터공학부 교수 / hyunoh@snu.ac.kr
김형석 서울대학교 컴퓨터공학부 석박통합과정 / harry2636@snu.ac.kr
김재겸 서울대학교 컴퓨터공학부 석박통합과정 / jaekyeom@snu.ac.kr

3. Learning Discrete and Continuous Factors of Data via Alternating Disentanglement (Yeonwoo Jeong, Hyun Oh Song)

Disentanglement는 비지도 학습에서 데이터를 잘 표현하는 섞이지 않는 정보들로 분리시키는 문제이다. 데이터를 표현하는 정보가 섞이지 않게 하기 위해 정보들의 total correlation을 최소화하는 다양한 연구들이 있었으나, 별도의 추가적인 계산이 필요하다는 단점이 있다. 송 교수 연구팀은 별도의 추가적인 계산없이 total correlation을 최소화하는 알고리즘을 제안했다. 또한, [식 3]에서처럼 데이터의 연속 정보가 주어져 있을 때 연속 정보와 함께 데이터를 가장 잘 표현하는 최적의 이산 정보를 먼저 찾고 여기서 구한 이산 정보를 바탕으로 연속 정보를 최적화 하는 딥러닝 네트워크를 학습시키는 알고리즘을 설계했다. Disentanglement 벤치마크 데이터 셋인 dSprites에서 이전 연구에서 제시한 방법들보다 높은 성능을 냈으며, MNIST, Fashion MNIST, Chair dataset에서 알고리즘의 우수성을 입증했다 [그림 3].

https://cse.snu.ac.kr/sites/default/files/node--notice/20190528_sik3.jpg https://cse.snu.ac.kr/sites/default/files/node--notice/20190528_img3.jpg

논문 preprint 링크: https://arxiv.org/abs/1905.09432
Github source code 링크: https://github.com/snu-mllab/DisentanglementICML19

[문의사항]
송현오 서울대학교 컴퓨터공학부 교수 / hyunoh@snu.ac.kr
정연우 서울대학교 컴퓨터공학부 석박통합과정 / yeonwoo@mllab.snu.ac.kr

4. End-to-End Efficient Representation Learning via Cascading Combinatorial Optimization (Yeonwoo Jeong, Yoonsung Kim, Hyun Oh Song)

빠르고 정확한 데이터 검색을 위해서 딥러닝 네트워크를 통해 데이터를 binary hash code 변환하여 해시 테이블을 생성한다. 하지만, 데이터 검색의 속도는 sparse 한 binary hash code의 크기와 직접적인 연관이 있으며, binary hash code의 크기가 증가함에 따라 binary hash code를 학습하는 알고리즘의 공간과 시간 복잡도도 함께 증가하여 실용성이 떨어진다. 이를 해결하기 위해 송 교수 연구진은 계층 구조를 가지는 binary hash code을 학습하는 딥러닝 알고리즘을 고안했다. 또한, 유사도 정보가 주어진 데이터의 계층 구조를 가지는 최적의 binary hash code를 찾는 combinatorial optimization 문제는 [그림4] 그래프에서의 minimum-cost flow 문제와 동치관계에 있음을 증명하였고, polynomial time 내에 최적해를 찾을 수 있음을 증명했다. (논문의 정리1 참조). 계층 구조를 통해 binary hash code를 학습하는 알고리즘은 머신러닝 벤치마크 데이터 셋인 Cifar-100 과 ImageNet에서 데이터 검색 속도를 끌어 올림과 동시에 검색 정확도 역시 증가시켰다.
https://cse.snu.ac.kr/sites/default/files/node--notice/20190528_img4.jpg

[문의사항]
송현오 서울대학교 컴퓨터공학부 교수 / hyunoh@snu.ac.kr
정연우 서울대학교 컴퓨터공학부 석박통합과정 / yeonwoo@mllab.snu.ac.kr