1. Community
  2. arrow_forward_ios
  3. News

News

Tags
Search
research

이재욱 교수 연구진, 메모리 효율적인 Any-Precision LLM 기술로 세계 선도

하나의 n-비트 대규모 언어모델(LLM)에 여러 정밀도의 모델(예: n, n-1, ..., 4, 3-비트)을 중첩하는 알고리즘 개발상황에 따라 동적으로 선택된 정밀도에 맞춰 LLM을 효율적으로 실행하는 소프트웨어 엔진 개발제한된 메모리에서 서로 다른 정확도-속도 상충관계를 갖는 멀티 모델들을 지원하여, LLM 기반 어플리케이션의 사용자 경험을 개선ICML 2024 Oral Presentation (최상위 1.5%) 논문 선정​이재욱 교수 연구진이 LLM 기반 어플리케이션의 사용자 경험을 획기적으로 향상시킬 수 있는 핵심기술을 개발하였다.​LLM을 운용할 때, 빠른 응답이 필요한 쿼리와 응답 시간이 크게 중요하지 않은 쿼리가 뒤섞여 들어올 수 있다. 예를 들어, 챗봇과 같은 대화형 응용 프로그램에서는 매우 빠른 응답이 필요하지만, 문서 분석과 같은 작업에서는 느린 응답도 허용되는 경우가 있다. 또한, 시스템의 부하에 따라 응답의 품질과 지연시간의 상충관계(tradeoff)를 조정하고자 할 수도 있다. 이렇게 다양한 응답 시간 요구사항을 가진 쿼리들을 효과적으로 처리하는 것은 사용자 경험을 개선하는 데 매우 중요하다. 이를 위해서는 여러 크기의 모델을 준비하고, 각 쿼리에 맞는 모델을 동적으로 선택해 사용하는 것이 유리하다. 그러나, 이러한 방법은 여러 버전의 모델을 저장하기 위한 메모리 사용량을 증가시킨다.​이 문제를 해결하기 위해 이재욱 교수 연구팀은 LLM에 특화된 임의 정밀도 양자화(any-precision quantization) 기술을 세계 최초로 개발했다. 제안한 기법은 마치 러시아의 마트료시카(Matryoshka) 인형처럼, n비트 모델에 그보다 낮은 정밀도를 가진 n-1, n-2, … 비트 모델을 중첩(overlay)하여 적은 메모리로 다양한 정밀도의 모델 운용을 가능하게 한다. 이 기술을 활용하면, n비트로 양자화된 모델 하나만 메모리에 저장해 두고, n비트 모델의 각 매개변수에서 최상위 비트의 일부만 사용하여 낮은 정밀도의 모델도 효과적으로 지원할 수 있다. 연구팀은 이러한 개념을 매개변수가 매우 많은 LLM에 쉽게 적용할 수 있도록, 재학습이 필요 없는 빠르고 가벼운 임의 정밀도 양자화 알고리즘을 고안했다. 또한, 이렇게 완성된 Any-Precision LLM을 효율적으로 실행할 수 있는 새로운 소프트웨어 엔진을 개발하여, 세계 최고 수준의 모델 성능 및 추론 속도를 달성했다.​이 연구는 LLM이 다양한 어플리케이션에서 높은 수준의 사용자 경험을 제공하는 데 핵심 기술로 활용될 것으로 기대된다. 해당 논문은 오는 7월에 개최되는 머신러닝 분야 최고 권위의 학회인 ICML 2024에서 발표될 예정이다. 특히 전체 제출 논문 중 최상위 1.5%만 선정되는 구두 발표(Oral Presentation) 세션에 채택되어 그 우수성을 인정받았다."Any-Precision LLM: Low-Cost Deployment of Multiple, Different-Sized LLMs​", Yeonhong Park, Jake Hyun, SangLyul Cho, Bonggeun Sim, Jae W. Lee, ICML 2024.​...
포스트 대표 이미지

송현오 교수 연구진, 효율적 모델 추론을 위한 맥락 및 깊이 압축 기술과 다중목적 최적화 기술로 세계 선도

메모리 효율적 언어모델 추론을 위한 실시간 맥락 압축 기법 개발인공 신경망 깊이 압축을 위한 레이어 제거 공동 최적화 알고리즘 개발탐욕 정책 학습을 통한 블랙박스 다중목적 조합 최적화 기법 개발송현오 교수 연구진이 실시간 언어모델 맥락 압축 기법, 인공 신경망 레이어 공동 최적화 알고리즘, 블랙박스 다중목적 조합 최적화 기법을 개발하였다.실시간 언어모델 맥락 압축 [1]: ChatGPT와 같은 트랜스포머 기반 대규모 언어모델은 이전 대화 등의 맥락 정보를 처리한 다음, 연산 결과(key/value)를 캐시에 저장하여 이후 추론에 사용한다. 한편 입력값의 길이가 길어질 수록 캐시에 저장되는 값들의 용량이 커지며 언어모델 추론 연산 또한 많아진다. 본 연구에서는 언어모델의 입력값 정보를 지속적으로 압축하여 효율적인 대규모 언어모델 추론을 가능하게 하는 방법을 제안하였다. 제안하는 압축 방법은 언어모델 추론에 매우 작은 수준의 오버헤드를 더하며, 기존 방식 대비 5배 이상 작은 메모리로 동일 수준의 추론 성능을 달성한다.인공신경망 레이어 공동 최적화 [2]: 본 연구는 기존의 인공신경망 깊이 압축 알고리즘인 (1) 합성곱 레이어를 제거하는 전략과 (2) 비선형 활성화 함수를 제거하여 연속적인 합성곱 층을 하나의 층으로 병합하는 전략을 상호 보완적으로 사용하여 기존 최고기술보다 네트워크의 성능을 유지하면서 효율성을 향상시킬 수 있음을 보여준다. 이를 위해, 원하는 추론 속도를 달성하면서 성능 손실을 최소화하기 위해 제거할 활성화 층과 합성곱 층을 공동으로 최적화하여 선택하는 문제와 새로운 깊이 압축 방법인 LayerMerge를 제안한다. 이 선택 문제는 지수적 탐색 공간을 가지므로, 우리는 새로운 대리 최적화 문제를 공식화하고 이를 동적 프로그래밍을 통해 효율적으로 해결한다. 실험 결과, 우리의 방법은 이미지 분류 및 생성 작업에서 다양한 네트워크 아키텍처에 대해 기존의 깊이 압축 및 층 가지치기 방법보다 일관되게 뛰어난 성능을 보였다.블랙박스 다중목적 조합 최적화 [3]: 블랙박스 다중목적 조합 최적화는 문자열, 그래프 등 조합적 대상에서 정의된 여러 블랙박수 목적함수를 함께 최적화하는 기법으로, 신약 개발 등 큰 사회적 파급효과를 지닌 다양한 문제들에 적용될 수 있다. 쿼리-효율성을 위해 주로 연구되고 있는 능동학습 기반 방법들은 기존 평가된 데이터를 바탕으로 다음 쿼리에 넣을 최적 배치(batch)를 선정하는 부분집합선택 문제를 해결해야 한다. 본 연구는 목적 집합 함수의 하위모듈성(submodularity)에 착안하여, 탐욕 알고리즘을 모사하도록 학습한 탐욕 정책 모델을 통해 최적 배치를 선정하는 능동 학습 기법을 제안한다. 제안한 기법은 적색 형광 단백질 최적화 벤치마크에서 목표 성능을 달성하는데 필요한 쿼리 횟수를 기존 방법들보다 1.69배 이상 줄이는 결과를 얻었다.해당 연구는 머신러닝 최우수 학회인 ICLR 2024과 ICML 2024에 발표될 예정이다.[1]“Compressed Context Memory For Online Language Model Interaction”, Jang-Hyun Kim, Junyoung Yeom, Sangdoo Yun, Hyun Oh Song, ICLR 2024[2]"LayerMerge: Neural Network Depth Compression through Layer Pruning and Merging", Jinuk Kim, Marwa El Halabi, Mingi Ji, Hyun Oh Song, ICML 2024[3]"Training Greedy Policy for Proposal Batch Selection in Expensive Multi-Objective Combinatorial Optimization", Deokjae Lee, Hyun Oh Song, Kyunghyun Cho, ICML 2024...
포스트 대표 이미지

김선 교수 연구진이 네트워크 사이언스와 머신러닝을 결합하여 약물에 적합한 질병을 예측

소셜 네트워크에서 활용되는 네트워크 알고리즘을 생물학적 네트워크에 적합하도록 변형머신러닝 기술을 접목시켜 약물과 질병의 치료 관계를 높은 정확도로 예측인공지능 신약개발 분야에 기존 약학, 병리학적 정보를 십분 활용하는 머신러닝 방법론의 가능성 제시 김선 교수와 아이겐드럭의 방동민 연구원이 주도한 인공지능 신약개발 분야 연구가 세계적으로 우수성을 인정받아 Nature Communications에 게재되었다. 김선 교수 연구진은 수십만가지의 의생물학적 데이터를 그래프 형태로 가공해 놓은 의생물학적 지식 그래프(biomedical knowledge graph) 를 활용하여 약물 재창출 (Drug repurposing, drug repositioning) 인공지능 모델인 드림워크(DREAMwalk)를 제시하였다. 이를 위하여, 기존의 소셜 네트워크 분야에서 활용되던 네트워크 알고리즘의 대표적인 줄기인 랜덤워크 (random walk) 알고리즘을 의생물학적 지식 그래프에 적합하도록 변형하였다.특히 의생물학적 지식 그래프는 유전자, 질병, 약물 등의 다양한 종류의 요소들로 구성되어 있으며 이들 중 대부분이 유전자와 그들 간의 관계에 치중되어 있다는 특징이 있으며, 이를 해결하기 위해 약물 간의 관계와 질병 간의 관계 지식들을 알고리즘에 효율적으로 녹여내었다. 또한 인공지능 예측 모델을 활용하여, 앞서 학습된 네트워크 정보를 기반으로 약물과 질병 간의 치료관계를 높은 정확도로 예측하였다.인공지능과 약학 분야의 융합의 산물인 본 연구는 기존에 컴퓨터 과학 분야에서 발전된 네트워크 과학 기술이 인공지능 신약개발 분야에 알맞게 변형되고, 또한 알려진 도메인의 지식을 잘 활용할 수 있도록 변형될 수 있다는 새로운 연구 패러다임의 실질적인 예를 제시하였다. 구축된 모델은 알츠하이머와 유방암에 대해 높은 신뢰도의 치료 약물을 발굴해주었으며, 이후에도 새로운 질병에 적용 가능한 약물들을 제시하도록 활용이 가능할 것으로 보인다. "Biomedical knowledge graph learning for drug repurposing by extending guilt-by-association to multiple layers", Dongmin Bang, Sangsoo Lim, Sangseon Lee & Sun Kim, Nature Communications 14.1 (2023): 3570...
포스트 대표 이미지

제4회 민상렬 장학금 수여식 개최

故 민상렬 교수님의 연구에 대한 열정과 후학 양성의 뜻을 기리고자 '민상렬 장학금'이 제정되었습니다. 민상렬장학금은 컴퓨터시스템 관련 연구업적이 탁월한 대학원생을 매년 1인 선정하여 학업/연구 장려금 600만원을 지급합니다.제4회 장학생으로 이주헌 학생(지도교수 이영기)이 선정되었습니다. 이주헌 학생의 연구 분야는 실시간 비디오 분석 시스템으로, 다중 딥 뉴럴 네트워크(DNN) 및 렌더링 연산의 동시, 실시간 수행을 요구하는 미래형 실시간 비디오 분석 응용(혼합 현실, 자율주행 등) 워크로드를 특징짓고, 이를 지원하기 위한 모바일-클라우드 협력적 AI 시스템 기술을 연구하여 모바일 컴퓨팅 분야 최우수 국제학회 및 저널에 총 3편의 논문을 주저자로 게재하였습니다(ACM MobiCom 2020 2편, IEEE Trans. on Mobile Computing 2022 1편). 이러한 성과를 인정받아, Microsoft Research Asia Ph.D. Fellowship 2020, ACM Students in MobiSys Workshop 2021 Best Paper Award, 서울대학교 AI 연구원 AI Stars Fellowship 2021, BK21 2022 우수대학원생 등 산업계, 학계에서 다수의 상을 수상한바 있습니다.민상렬장학금 수여식은 2024년 2월 8일 서울대 컴퓨터연구소 민상렬홀에서 개최되었습니다. 앞으로도 컴퓨터시스템과 관련된 연구를 하는 많은 훌륭한 학생들이 민상렬 장학생으로 선정되는 명예를 차지하길 기대합니다....
포스트 대표 이미지

원정담 교수 연구진, "NeurIPS MyoChallenge 2023" locomotion track 1위 기록

NeurlPS conference 2023 에서 열린 MyoChallenge 2023 에서 locomotion track 1위물리 기반 시뮬레이션 환경에서 다수의 근육을 갖춘 인간 모델을 효율적이고 안정적으로 원하는 방향으로 조종할 수 있도록 하는 제어 시스템 학습 알고리즘을 개발원정담 교수 연구실 박사과정생 박정남 학생(Team GaitNet)이 NeurIPS 2023에서 열린 MyoChallenge 2023 competition의 locomotion track 에서 1위를 차지하였다. MyoChallenge 2023 은 물리 기반 근골격 시뮬레이션 환경에서 주어진 목표들을 수행하도록 사람 모델의 근육을 제어하여야 하며, '목표의 달성 정도', '제어의 효율성' 등의 기준을 바탕으로 순위를 매긴다. 총 2개의 track(locomotion, manipulation) 으로 구성되어 있으며, locomotion track은 복잡한 지형 위에서 80개의 다리 근육을 제어하여, 움직이는 물체를 따라가거나 피하는 목표가 주어진다. 해당 목표를 성공적으로 수행하는 근육 제어기를 학습함으로써 실제 사람의 동작 매커니즘과 유사한 근육기반의 시뮬레이션에서 사람의 움직임에 대한 더 깊은 이해를 할 수 있다.원정담 교수 팀은 심층강화학습에 기반한 curriculum learning 을 제안하여, 빠르게 움직이는 물체를 쫓아가거나 그 물체를 피하는 목표를 수행하면서 균형을 유지할 수 있는 제어기를 학습하는 것에 성공하였다. 연구팀은 실제 인간 동작 데이터를 활용하여 기본 걷기 및 균형 잡기 기술을 학습시킨 후, 이를 바탕으로 보다 복잡하고 민첩한 동작을 습득하는 알고리즘을 제안하였다. 실제 사람의 근골격 모델을 바탕으로 하는 복잡한 시뮬레이션 환경에서 안정적면서 민첩한 제어에 성공함으로써, 사람의 동작과 근골격계 사이의 관계를 밝히는 연구에 큰 기여를 할 것으로 기대한다. ...
포스트 대표 이미지

송현오 교수 연구진, 데이터 효율적인 강화학습 및 대규모 데이터셋 분석 기술로 세계 선도

보상함수의 모델링 없이 사용자 선호 (preference) 데이터만으로 강화학습 에이전트 학습마인크래프트와 같은 대규모 게임에서 작동하는 강화학습 에이전트 개발대규모 데이터셋의 레이블 오류와 이상치 데이터를 식별하는 프레임워크 개발송현오 교수 연구진이 선호 정보를 직접적으로 최적화 하는 강화학습 알고리즘, 절차적 생성 환경을 위한 데이터 효율적인 계층적 강화학습 알고리즘, 그리고 일반적인 도메인에 적용가능한 대규모 데이터 분석 프레임워크를 개발하였다. 선호 데이터를 통한 강화학습 [1]: 기존의 강화학습 알고리즘은 잘 정의된 보상함수를 요구하기 때문에 현실 적용에 어려움이 있었다. 본 연구진은 대조학습 방법을 활용하여 보상함수 없이 인간의 선호 데이터만을 가지고 에이전트를 학습할 수 있는 강화학습 알고리즘을 제시하였다. 개발된 알고리즘은 기존의 보상함수를 활용하는 방법 대비 더 적은 학습 데이터로 더 우수한 성능을 달성하며, 보상함수 정의가 어려운 일반적인 환경에 적용 가능하다.대규모 게임에서 작동하는 강화학습 [2]: 본 연구진은 마인크래프트와 같이 다양한 시각적 변이가 존재하는 대규모 환경에서 효율적으로 작동하는 새로운 계층적 강화학습 에이전트을 개발하였다. 본 연구진은 대조학습 기법을 이용하여 에이전트의 시각 인코더가 하위 작업 계층구조의 내재된 정보를 스스로 학습하도록 설계하였다. 개발된 알고리즘은 Google DeepMind가 최근 발표한 강화학습 알고리즘인 DreamerV3에 비해 파라미터 수를 4%만 사용하면서 50%의 성능 향상을 보였다.대규모 데이터셋 분석 [3]: 인공신경망 학습에 활용되는 대규모 데이터셋은 레이블 오류 혹은 이상치와 같은 복합적인 문제를 지며, 이는 인공신경망의 학습 성능을 저하하는 주요 원인이다. 본 연구진은 데이터셋의 복합적인 문제를 효율적으로 탐지하는 데이터 관계 기반 그래프 알고리즘을 개발하였다. 제안하는 데이터 분석 프레임워크는 이미지,오디오,텍스트 등 일반적인 도메인에 적용 가능하며 수백만 크기의 대규모 데이터셋에도 효율적으로 적용 가능하다.해당 연구들은 머신러닝 최우수 학회인 NeurIPS 2023에 발표되었다.[1] "Direct Preference-based Policy Optimization without Reward Modeling", Gaon An*, Junhyeok Lee*, Xingdong Zuo, Norio Kosaka, Kyung-Min Kim, Hyun Oh Song, NeurIPS 2023[2] "Discovering Hierarchical Achievements in Reinforcement Learning via Contrastive Learning", Seungyong Moon, Junyoung Yeom, Bumsoo Park, Hyun Oh Song, NeurIPS 2023[3] "Neural Relation Graph: A Unified Framework for Identifying Label Noise and Outlier Data", Jang-Hyun Kim, Sangdoo Yun, Hyun Oh Song, NeurIPS 2023...
포스트 대표 이미지

서울대 김현우 박사, 국제 최우수 AI 학회 EMNLP2023에서 국내 대학 연구자 최초로 논문상 수상

거대 언어모델을 활용하여 기호 기반 상식 그래프에 맥락을 더하는 방법론을 개발하여 세계 최초의 백만 단위 세계 최대 규모 고품질 일상 대화 데이터셋 SODA를 무료로 공개데이터셋 SODA는 다방면에서 기존 대화 데이터셋보다 품질이 훨씬 뛰어나, 이에 학습한 대화 모델은 기존모델들보다 더 자연스러운 답변 생성 가능김현우 박사가 서울대 박사과정 중 미국 시애틀의 AI2에 인턴을 수행하며 국제 협력 연구를 이끌었으며 졸업 후 AI2에서 박사후 연구원으로 취업하여 후속 연구 이어가는 중김현우 박사와 김건희 교수가 미국 시애틀 앨런 인공지능 연구소(Allen Institute for AI; AI2) 및 워싱턴 대학교(University of Washington)의 최예진 교수 등과 함께 진행한 연구가 국제 최우수 자연어처리 학술대회 EMNLP 2023에서 Outstanding Paper Award를 수상하였다. 국내 대학 연구진이 EMNLP에서 수상을 한 것은 이번이 최초다.기존 인공지능 대화 분야는 고질적으로 데이터 부족 문제에 시달려왔다. 왜냐하면 일상에서 이루어지는 대화들은 데이터로 기록되지 않는 경우가 대부분이기 때문이다. 설령, 문자 메세지나 이메일 같은 형태로 대화가 기록되더라도 여러 법적 제약들이 존재하기 때문에 이를 연구에 활용하기에는 어려웠다. 이에 대한 대안으로 그동안 크라우드 소싱을 통해 대화 데이터셋을 제작하여 왔지만 이는 비용도 많이 들뿐더러 만들 수 있는 데이터셋 크기도 작은 문제점이 있다. 그 결과, 기존 대화 관련 연구들은 모두 소수의 작은 데이터셋 위에서 이루어져 범용성에 큰 제약이 있었다.수상 논문인 ‘사회 상식 맥락화 기법을 통한 백만 단위의 대화 증류(SODA: Million-scale Dialogue Distillation with Social Commonsense Contextualization)’는 이를 해결하기 위해 거대 언어모델(large language model; LLM)과 기호 기반 상식 그래프(symbolic commonsense knowledge graph)를 함께 사용하여 데이터셋을 효율적으로 자동 구축하는 방법론인 CO_3 증류 프레임웍(distillation framework)을 제시하였다. 기존에 크라우드 소싱을 활용할 경우 대화 하나 당 길게는 몇 분이 걸리던 작업을 CO_3 프레임웍은 6초 내외로 단축시킨다.연구팀은 이를 통해 세계 최초로 150만 규모의 세계 최대 고품질 일상 대화 데이터셋인 SODA를 무료로 공개하였는데, 이는 기존 데이터셋 대비 100배 큰 규모다. 크기 뿐만 아니라, 대화의 자연스러움, 일관성, 구체성 등 품질 또한 기존 크라우드 소싱 기반 대화 데이터셋에 비해 2배 이상 뛰어난 것으로 연구 결과가 나타났다. 그 결과, SODA에 학습시킨 챗봇 COSMO는 파라미터 수가 30억 개로 작은 크기임에도 불구하고 기존 큰 챗봇들(파라미터 수 70억)보다 대화 맥락에 더 적합하고 자연스러운 답변이 가능하다.이번 연구는 대화 데이터셋 부족 문제를 해결하고, 누구나 간편하게 세계 최대 규모의 고품질 대화 데이터셋을 구축할 수 있는 방법론을 제시했다는 데에 의의가 있다. 이 방법론으로 탄생한 데이터셋 SODA는 다양한 대화 연구에 기반 자료로 쓰일 수 있을 것으로 기대된다. 해당 코드, SODA 데이터셋, COSMO 모델은 모두 오픈소스로 공개되어 있다.해당 논문은 미국 시애틀의 앨런 인공지능 연구소(Allen Institute for AI; AI2), 워싱턴 대학교(University of Washington), 카네기멜론 대학교 (Carnegie Mellon University), 서던 캘리포니아 대학교 (University of Southern California), 그리고 피츠버그 대학교 (University of Pittsburgh)와 함께 국제 공동협력 연구로 이루어낸 결과다. 김현우 박사와 김건희 교수는 정보통신기획평가원(IITP)의 연구비를 지원받았다(No.2019-0-01082, No.2022-0-00156).“SODA: Million-scale Dialogue Distillation with Social Commonsense Contextualization”, Hyunwoo Kim, Jack Hessel, Liwei Jiang, Peter West, Ximing Lu, Youngjae Yu, Pei Zhou, Ronan Le Bras, Malihe Alikhani, Gunhee Kim, Maarten Sap, and Yejin Choi....
포스트 대표 이미지
포스트 대표 이미지
포스트 대표 이미지

김선 교수 연구진, "삼성 인공지능/컴퓨터공학 챌린지 2023" 인공지능 분야 수상

삼성전자 SAIT에서 주최하는 "삼성 인공지능/컴퓨터공학 챌린지 2023"의 인공지능 분야에서 우수상 수상반도체 소재 시스템의 3차원 구조로부터 에너지 및 force field 예측하는 알고리즘 개발김선 교수 연구실 소속 팀 (Team 털실뭉치의 이단영) 이 삼성전자 SAIT에서 주최한 "삼성 인공지능/컴퓨터공학 챌린지 2023"의 인공지능 분야의 “반도체 소재 시뮬레이션용 머신 러닝 알고리즘” 부문에서 2위(우수상)로 수상하였다. 해당 부문의 주제는 반도체 소재 시스템의 3차원 구조로부터 시스템의 에너지 및 force field를 예측하는 알고리즘 개발이었으며, 이는 분자 동역학 (Molecular dynamics) 을 통한 에너지 최적화 및 시뮬레이션의 정확성을 향상시키는 데 중요한 역할을 한다.김선 교수 팀은 3차원 구조의 모델링에 적합한 equivariant 신경망 기반 모델의 개발을 통해 반도체 소재의 복잡한 구조와 상호 작용을 더 정확하고 효율적으로 모델링하고자 하였다. 연구팀은 다양한 기계학습 기법과 결합된 새로운 접근 방식을 사용하여, 전통적인 방법보다 빠르고 정확한 예측이 가능하게 하였다. 이를 통해, 반도체 소재의 효율적인 설계 및 개발 과정에서의 시간 및 비용 절감에 크게 기여할 것으로 기대된다....
포스트 대표 이미지