1. Community
  2. arrow_forward_ios
  3. News

News

Tags
Search
all

이재욱 교수 연구진, 메모리 효율적인 Any-Precision LLM 기술로 세계 선도

하나의 n-비트 대규모 언어모델(LLM)에 여러 정밀도의 모델(예: n, n-1, ..., 4, 3-비트)을 중첩하는 알고리즘 개발상황에 따라 동적으로 선택된 정밀도에 맞춰 LLM을 효율적으로 실행하는 소프트웨어 엔진 개발제한된 메모리에서 서로 다른 정확도-속도 상충관계를 갖는 멀티 모델들을 지원하여, LLM 기반 어플리케이션의 사용자 경험을 개선ICML 2024 Oral Presentation (최상위 1.5%) 논문 선정​이재욱 교수 연구진이 LLM 기반 어플리케이션의 사용자 경험을 획기적으로 향상시킬 수 있는 핵심기술을 개발하였다.​LLM을 운용할 때, 빠른 응답이 필요한 쿼리와 응답 시간이 크게 중요하지 않은 쿼리가 뒤섞여 들어올 수 있다. 예를 들어, 챗봇과 같은 대화형 응용 프로그램에서는 매우 빠른 응답이 필요하지만, 문서 분석과 같은 작업에서는 느린 응답도 허용되는 경우가 있다. 또한, 시스템의 부하에 따라 응답의 품질과 지연시간의 상충관계(tradeoff)를 조정하고자 할 수도 있다. 이렇게 다양한 응답 시간 요구사항을 가진 쿼리들을 효과적으로 처리하는 것은 사용자 경험을 개선하는 데 매우 중요하다. 이를 위해서는 여러 크기의 모델을 준비하고, 각 쿼리에 맞는 모델을 동적으로 선택해 사용하는 것이 유리하다. 그러나, 이러한 방법은 여러 버전의 모델을 저장하기 위한 메모리 사용량을 증가시킨다.​이 문제를 해결하기 위해 이재욱 교수 연구팀은 LLM에 특화된 임의 정밀도 양자화(any-precision quantization) 기술을 세계 최초로 개발했다. 제안한 기법은 마치 러시아의 마트료시카(Matryoshka) 인형처럼, n비트 모델에 그보다 낮은 정밀도를 가진 n-1, n-2, … 비트 모델을 중첩(overlay)하여 적은 메모리로 다양한 정밀도의 모델 운용을 가능하게 한다. 이 기술을 활용하면, n비트로 양자화된 모델 하나만 메모리에 저장해 두고, n비트 모델의 각 매개변수에서 최상위 비트의 일부만 사용하여 낮은 정밀도의 모델도 효과적으로 지원할 수 있다. 연구팀은 이러한 개념을 매개변수가 매우 많은 LLM에 쉽게 적용할 수 있도록, 재학습이 필요 없는 빠르고 가벼운 임의 정밀도 양자화 알고리즘을 고안했다. 또한, 이렇게 완성된 Any-Precision LLM을 효율적으로 실행할 수 있는 새로운 소프트웨어 엔진을 개발하여, 세계 최고 수준의 모델 성능 및 추론 속도를 달성했다.​이 연구는 LLM이 다양한 어플리케이션에서 높은 수준의 사용자 경험을 제공하는 데 핵심 기술로 활용될 것으로 기대된다. 해당 논문은 오는 7월에 개최되는 머신러닝 분야 최고 권위의 학회인 ICML 2024에서 발표될 예정이다. 특히 전체 제출 논문 중 최상위 1.5%만 선정되는 구두 발표(Oral Presentation) 세션에 채택되어 그 우수성을 인정받았다."Any-Precision LLM: Low-Cost Deployment of Multiple, Different-Sized LLMs​", Yeonhong Park, Jake Hyun, SangLyul Cho, Bonggeun Sim, Jae W. Lee, ICML 2024.​...
포스트 대표 이미지

송현오 교수 연구진, 효율적 모델 추론을 위한 맥락 및 깊이 압축 기술과 다중목적 최적화 기술로 세계 선도

메모리 효율적 언어모델 추론을 위한 실시간 맥락 압축 기법 개발인공 신경망 깊이 압축을 위한 레이어 제거 공동 최적화 알고리즘 개발탐욕 정책 학습을 통한 블랙박스 다중목적 조합 최적화 기법 개발송현오 교수 연구진이 실시간 언어모델 맥락 압축 기법, 인공 신경망 레이어 공동 최적화 알고리즘, 블랙박스 다중목적 조합 최적화 기법을 개발하였다.실시간 언어모델 맥락 압축 [1]: ChatGPT와 같은 트랜스포머 기반 대규모 언어모델은 이전 대화 등의 맥락 정보를 처리한 다음, 연산 결과(key/value)를 캐시에 저장하여 이후 추론에 사용한다. 한편 입력값의 길이가 길어질 수록 캐시에 저장되는 값들의 용량이 커지며 언어모델 추론 연산 또한 많아진다. 본 연구에서는 언어모델의 입력값 정보를 지속적으로 압축하여 효율적인 대규모 언어모델 추론을 가능하게 하는 방법을 제안하였다. 제안하는 압축 방법은 언어모델 추론에 매우 작은 수준의 오버헤드를 더하며, 기존 방식 대비 5배 이상 작은 메모리로 동일 수준의 추론 성능을 달성한다.인공신경망 레이어 공동 최적화 [2]: 본 연구는 기존의 인공신경망 깊이 압축 알고리즘인 (1) 합성곱 레이어를 제거하는 전략과 (2) 비선형 활성화 함수를 제거하여 연속적인 합성곱 층을 하나의 층으로 병합하는 전략을 상호 보완적으로 사용하여 기존 최고기술보다 네트워크의 성능을 유지하면서 효율성을 향상시킬 수 있음을 보여준다. 이를 위해, 원하는 추론 속도를 달성하면서 성능 손실을 최소화하기 위해 제거할 활성화 층과 합성곱 층을 공동으로 최적화하여 선택하는 문제와 새로운 깊이 압축 방법인 LayerMerge를 제안한다. 이 선택 문제는 지수적 탐색 공간을 가지므로, 우리는 새로운 대리 최적화 문제를 공식화하고 이를 동적 프로그래밍을 통해 효율적으로 해결한다. 실험 결과, 우리의 방법은 이미지 분류 및 생성 작업에서 다양한 네트워크 아키텍처에 대해 기존의 깊이 압축 및 층 가지치기 방법보다 일관되게 뛰어난 성능을 보였다.블랙박스 다중목적 조합 최적화 [3]: 블랙박스 다중목적 조합 최적화는 문자열, 그래프 등 조합적 대상에서 정의된 여러 블랙박수 목적함수를 함께 최적화하는 기법으로, 신약 개발 등 큰 사회적 파급효과를 지닌 다양한 문제들에 적용될 수 있다. 쿼리-효율성을 위해 주로 연구되고 있는 능동학습 기반 방법들은 기존 평가된 데이터를 바탕으로 다음 쿼리에 넣을 최적 배치(batch)를 선정하는 부분집합선택 문제를 해결해야 한다. 본 연구는 목적 집합 함수의 하위모듈성(submodularity)에 착안하여, 탐욕 알고리즘을 모사하도록 학습한 탐욕 정책 모델을 통해 최적 배치를 선정하는 능동 학습 기법을 제안한다. 제안한 기법은 적색 형광 단백질 최적화 벤치마크에서 목표 성능을 달성하는데 필요한 쿼리 횟수를 기존 방법들보다 1.69배 이상 줄이는 결과를 얻었다.해당 연구는 머신러닝 최우수 학회인 ICLR 2024과 ICML 2024에 발표될 예정이다.[1]“Compressed Context Memory For Online Language Model Interaction”, Jang-Hyun Kim, Junyoung Yeom, Sangdoo Yun, Hyun Oh Song, ICLR 2024[2]"LayerMerge: Neural Network Depth Compression through Layer Pruning and Merging", Jinuk Kim, Marwa El Halabi, Mingi Ji, Hyun Oh Song, ICML 2024[3]"Training Greedy Policy for Proposal Batch Selection in Expensive Multi-Objective Combinatorial Optimization", Deokjae Lee, Hyun Oh Song, Kyunghyun Cho, ICML 2024...
포스트 대표 이미지
포스트 대표 이미지
포스트 대표 이미지
포스트 대표 이미지
포스트 대표 이미지

제46회 및 제47회 국제 대학생 프로그래밍 경진대회 은메달 수상

ICPC (International Collegiate Programming Contest) Foundation이 주최하는 세계 최대 프로그래밍 대회인 제46회, 제47회 국제 대학생 프로그래밍 경진대회(ICPC)에서 서울대학교가 각각 은메달을 수상했다. 2023년 코로나19 및 중동 분쟁으로 대회가 연기됨에 따라 올해 제46회 및 제47회 대회가 2024년 4월 18일 이집트 룩소르(Egypt Luxor)에서 같은 날에 통합해서 개최되었다.제46회에 출전한 서울대학교 'FSM'팀(김세빈, 이민제, 윤교준 학생)은 총 11개 문제 중 9문제를 해결하여 종합 6위를 기록하였으며, 제47회에 출전한 서울대학교 'HappyLastDance'팀(안정현, 이하린, 김동현 학생)은 총 11개 문제 중 8문제를 해결하여 종합 7위를 기록하여 각각 은메달을 수상하였다. 서울대학교는 2017년 대회 금메달, 2018년 대회 은메달, 2019년 대회 은메달, 2021년 대회 금메달, 2022년 금메달을 수상한 데 이어, 올해 두 대회에서 은메달을 얻으며 7회 연속으로 메달을 수상하였다(2020년 대회는 코로나19 확산으로 한 차례 연기됨). 故 염헌영 교수님께서는 해당 대회를 위해 2017년 수상 당시부터 수 년 동안 계속하여 코치를 맡아주셨으며, 최근 몇 년 동안은 서울지역대회 regional director도 맡아주셨다.ICPC는 1977년 ACM(미국컴퓨터협회) 컴퓨터 과학 컨퍼런스에서 처음 개최되어, 매년 전 세계 대학생들이 참가하는 가장 권위 있는 컴퓨터 프로그래밍 경시대회이다. 이번 대회를 위한 지역대회에는 111개국 3천여 개 대학에서 5만여 명 이상의 대학생이 참가했으며, 그 중 최상위 성적으로 지역 대회를 통과한 264개 팀, 8백여 명의 대학생이 '월드 파이널'로 불리는 본선에서 경쟁을 벌였다....
포스트 대표 이미지

김선 교수 연구진이 네트워크 사이언스와 머신러닝을 결합하여 약물에 적합한 질병을 예측

소셜 네트워크에서 활용되는 네트워크 알고리즘을 생물학적 네트워크에 적합하도록 변형머신러닝 기술을 접목시켜 약물과 질병의 치료 관계를 높은 정확도로 예측인공지능 신약개발 분야에 기존 약학, 병리학적 정보를 십분 활용하는 머신러닝 방법론의 가능성 제시 김선 교수와 아이겐드럭의 방동민 연구원이 주도한 인공지능 신약개발 분야 연구가 세계적으로 우수성을 인정받아 Nature Communications에 게재되었다. 김선 교수 연구진은 수십만가지의 의생물학적 데이터를 그래프 형태로 가공해 놓은 의생물학적 지식 그래프(biomedical knowledge graph) 를 활용하여 약물 재창출 (Drug repurposing, drug repositioning) 인공지능 모델인 드림워크(DREAMwalk)를 제시하였다. 이를 위하여, 기존의 소셜 네트워크 분야에서 활용되던 네트워크 알고리즘의 대표적인 줄기인 랜덤워크 (random walk) 알고리즘을 의생물학적 지식 그래프에 적합하도록 변형하였다.특히 의생물학적 지식 그래프는 유전자, 질병, 약물 등의 다양한 종류의 요소들로 구성되어 있으며 이들 중 대부분이 유전자와 그들 간의 관계에 치중되어 있다는 특징이 있으며, 이를 해결하기 위해 약물 간의 관계와 질병 간의 관계 지식들을 알고리즘에 효율적으로 녹여내었다. 또한 인공지능 예측 모델을 활용하여, 앞서 학습된 네트워크 정보를 기반으로 약물과 질병 간의 치료관계를 높은 정확도로 예측하였다.인공지능과 약학 분야의 융합의 산물인 본 연구는 기존에 컴퓨터 과학 분야에서 발전된 네트워크 과학 기술이 인공지능 신약개발 분야에 알맞게 변형되고, 또한 알려진 도메인의 지식을 잘 활용할 수 있도록 변형될 수 있다는 새로운 연구 패러다임의 실질적인 예를 제시하였다. 구축된 모델은 알츠하이머와 유방암에 대해 높은 신뢰도의 치료 약물을 발굴해주었으며, 이후에도 새로운 질병에 적용 가능한 약물들을 제시하도록 활용이 가능할 것으로 보인다. "Biomedical knowledge graph learning for drug repurposing by extending guilt-by-association to multiple layers", Dongmin Bang, Sangsoo Lim, Sangseon Lee & Sun Kim, Nature Communications 14.1 (2023): 3570...
포스트 대표 이미지

제4회 CSE 종신교수 취임 기념 강연 (김건희 교수)

2024년 3월 25일(월) 오후 12시 30분, 302동 105호에서 제4회 CSE 종신교수 취임 기념 강연이 개최되었습니다.이날 강연은 김건희 교수님의 종신교수 취임을 기념하여 '다양한 형식의 데이터를 이해하고 생성하는 멀티모덜 인공지능' 이라는 주제로 진행되었습니다. 본 발표에서는 김건희 교수님이 핵심 분야로 삼고 있는 멀티모덜 인공지능 연구에 대해 소개하였습니다. 박사과정 때 진행한 온라인 사진 기반 스토리라인 생성 연구부터 서울대학교에서 집중했던 시각 정보와 언어 정보의 교점에 있는 연구, 근래  초거대 멀티모덜 언어모델 개발 이후 시작된 최신 연구까지 다양하게 살펴본 후, 향후 멀티모덜 인공지능 연구 방향에 대해 살펴보았습니다.약 60분 동안 진행된 김건희 교수님의 종신교수 취임 기념 강연은 100여 명 이상의 많은 학생들과 교수님들이 참석한 가운데 성황리에 개최되었습니다.김건희 교수님은 2015년부터 서울대학교에서 교수로 재직하고 있습니다. 2018년에는 세계수준의 멀티모덜AI 기술 연구 기반으로 영상편집AI 스타트업 리플에이아이를 창업하였습니다. 김건희 교수님은 KAIST의 기계공학과에서 학사와 석사 학위를 받았으며, KIST지능로봇센터에서 연구원으로 일한 후 미국 카네기멜론대학에서 로봇학으로 석사 학위, 컴퓨터과학으로 박사 학위를 받았습니다. 또한 서울대학교에 합류하기 직전에 디즈니 연구소에서 박사후 연구원으로 일하였습니다. 2014 ACM SIGKDD 박사학위 논문상, ACM VRST 2019 최우수논문상, EMNLP 2023 우수논문상 등을 수상하였습니다. ...
포스트 대표 이미지
포스트 대표 이미지