1. Community
  2. arrow_forward_ios
  3. News

News

Tags
Search
all

강유 교수 연구진, 다양화된 개인화 순차 추천 기술 개발

​강유 교수 연구진이 다양성을 고려한 개인화 순차 추천 기술을 개발하였다. 추천 다양성이란 플랫폼에 존재하는 상품들을 소외되는 항목 없이 골고루 사용자들에게 추천하는 것을 의미한다. 추천에서 다양성을 높이는 것은 온라인 상업 플랫폼의 수익을 극대화하기 위한 핵심 요소로 최근 다양화 추천과 관련된 연구에 대한 관심도가 높아지고 있다.본 연구에서는 사용자간 순서를 고려한 다양화 추천 기술인 SAPID를 제안하였다. 기존 다양화 추천에 대한 연구는 모든 사용자에 대한 정보를 사전에 알고 있을 때 각 사용자들이 어떤 상품을 얼마나 좋아하는지를 취합하여 선호도가 비슷한 상품 중 다른 사용자들이 좋아하지 않는 아이템을 추천하는 방식으로 다양성을 높이는 방향으로 접근해왔다. 그러나 현실 시나리오에서는 미래의 사용자가 어떤 상품을 선호할지 사전에 알 수 없는 문제가 있다. SAPID는 이를 극복하기 위해 이전 데이터를 바탕으로 미래의 상품별 수요를 예측하여 현재 어떤 상품을 추천해야 다양성이 높아질지 판단한다. 본 연구는 정헌재단의 학술 연구 지원을 받았으며, 연구 결과는 2025년 3월 데이터 마이닝 및 머신 러닝 학회인WSDM2025에서 발표될 예정이다....
포스트 대표 이미지
포스트 대표 이미지

제79회 후기 컴퓨터공학부 졸업기념행사

제79회 후기 컴퓨터공학부 졸업기념행사를 2024년 8월 29일(목) 14시, 26동 B101호에서 개최하였습니다. 이번 졸업기념행사는 총 졸업생 59명 중 39명(학사 24명, 석사 7명, 박사 8명)이 참석하였으며, 우수논문상과 'Young Courage Award' 수여식이 함께 진행되었습니다.컴퓨터공학부 우수학위논문상은 박연홍 박사(지도교수: 이재욱), 이수찬 박사(지도교수: 김건희), 정현영 박사(지도교수: 유승주), 최유진 석사(지도교수: 문봉기), 파티마 석사(지도교수: 김건희), 신원석 석사(지도교수: 박근수), 권민규 학사(지도교수: 이영기), 성용운 학사(지도교수: 권태경), 박준영 학사(지도교수: 주한별)에게 수여되었습니다. ‘Young Courage Award’는 대학 생활 동안 주변인 및 사회적 약자에게 긍정적인 영향을 미치고, 어려움을 극복하고 더 나은 미래를 만들어 나갈 수 있는 잠재력을 보여준 학생에게 수여되는 상으로, 파티마, 신현지, 타쉬, 홍용기 학생에게 수여되었습니다.​이번 행사에서는 학부장님의 축사와 대표 학생의 답사 이후에 오성진 테너가 졸업을 축하하는 의미에서 축가를 부르며 행사를 아름답게 장식하였습니다. 졸업생들과 가족, 친지, 교수 및 재학생 등 총 150여 명이 참석하여 졸업생들의 밝은 미래를 응원하였습니다....
포스트 대표 이미지

주한별 교수 연구실, 과학기술정보통신부에서 2024년도 SW스타랩으로 선정

과학기술정보통신부에서 지원하는 2024년도 SW스타랩에 주한별 교수 연구실이 선정됨SW스타랩은 소프트웨어(SW) 분야 우수 기초·원천기술을 보유한 대학 연구실을 지원하는 사업임주한별 교수 연구실이 과학기술정보통신부에서 지원하는 2024년도 SW스타랩으로 선정되었다. SW스타랩은 과학기술정보통신부에서 소프트웨어(SW) 분야 우수 기초·원천기술을 보유한 대학 연구실을 지원하는 사업이다. SW스타랩​으로 선정된 연구실은 연구 성과에 따라 최장 8년 동안 안정적으로 연구할 수 있도록 지원을 받는다. 올해 공모에는 20개 대학 총 48개의 연구실이 신청(경쟁률 4.8:1)했으며, 고려대, 서울대, 포항공대, 한국과학기술원(KAIST), 울산과학기술원(UNIST) 등 5개 대학 총 10개의 연구실이 최종 선정됐다. 인공지능(AI) 분야에 선정된 주한별 교수 연구실에서는 ‘인간의 3차원 외형, 모션, 사회적 행동을 모방하는 생성형 디지털 휴먼 AI 모델 개발’이라는 주제로 연구를 진행한다.SW스타랩은 2015년부터 지난해까지 석사 474명, 박사 218명 등 총 778명의 고급인력을 배출했다. 지난해까지 최근 3년간 SCIE급 저널에 연간 60여편의 논문을 게재하고, (최)우수학술대회에서 연간 90여편의 논문을 발표하는 등 연구 성과를 창출했다. 특히 국제학술대회 최우수논문상 수상과 국가 연구개발 100선 다수 선정 등을 이뤘고, 깃허브 등을 통해 연평균 60여 건의 공개SW를 전 세계에 공유함으로써 국내 SW 연구 위상을 높였다.출처 :  1) https://www.edaily.co.kr/News/Read?newsId=02273046638986664&mediaCodeNo=257&OutLnkChk=Y           2) https://www.dt.co.kr/contents.html?article_no=2024081202109931081008&ref=naver...
포스트 대표 이미지
포스트 대표 이미지

이재욱 교수 연구진, 메모리 효율적인 Any-Precision LLM 기술로 세계 선도

하나의 n-비트 대규모 언어모델(LLM)에 여러 정밀도의 모델(예: n, n-1, ..., 4, 3-비트)을 중첩하는 알고리즘 개발상황에 따라 동적으로 선택된 정밀도에 맞춰 LLM을 효율적으로 실행하는 소프트웨어 엔진 개발제한된 메모리에서 서로 다른 정확도-속도 상충관계를 갖는 멀티 모델들을 지원하여, LLM 기반 어플리케이션의 사용자 경험을 개선ICML 2024 Oral Presentation (최상위 1.5%) 논문 선정​이재욱 교수 연구진이 LLM 기반 어플리케이션의 사용자 경험을 획기적으로 향상시킬 수 있는 핵심기술을 개발하였다.​LLM을 운용할 때, 빠른 응답이 필요한 쿼리와 응답 시간이 크게 중요하지 않은 쿼리가 뒤섞여 들어올 수 있다. 예를 들어, 챗봇과 같은 대화형 응용 프로그램에서는 매우 빠른 응답이 필요하지만, 문서 분석과 같은 작업에서는 느린 응답도 허용되는 경우가 있다. 또한, 시스템의 부하에 따라 응답의 품질과 지연시간의 상충관계(tradeoff)를 조정하고자 할 수도 있다. 이렇게 다양한 응답 시간 요구사항을 가진 쿼리들을 효과적으로 처리하는 것은 사용자 경험을 개선하는 데 매우 중요하다. 이를 위해서는 여러 크기의 모델을 준비하고, 각 쿼리에 맞는 모델을 동적으로 선택해 사용하는 것이 유리하다. 그러나, 이러한 방법은 여러 버전의 모델을 저장하기 위한 메모리 사용량을 증가시킨다.​이 문제를 해결하기 위해 이재욱 교수 연구팀은 LLM에 특화된 임의 정밀도 양자화(any-precision quantization) 기술을 세계 최초로 개발했다. 제안한 기법은 마치 러시아의 마트료시카(Matryoshka) 인형처럼, n비트 모델에 그보다 낮은 정밀도를 가진 n-1, n-2, … 비트 모델을 중첩(overlay)하여 적은 메모리로 다양한 정밀도의 모델 운용을 가능하게 한다. 이 기술을 활용하면, n비트로 양자화된 모델 하나만 메모리에 저장해 두고, n비트 모델의 각 매개변수에서 최상위 비트의 일부만 사용하여 낮은 정밀도의 모델도 효과적으로 지원할 수 있다. 연구팀은 이러한 개념을 매개변수가 매우 많은 LLM에 쉽게 적용할 수 있도록, 재학습이 필요 없는 빠르고 가벼운 임의 정밀도 양자화 알고리즘을 고안했다. 또한, 이렇게 완성된 Any-Precision LLM을 효율적으로 실행할 수 있는 새로운 소프트웨어 엔진을 개발하여, 세계 최고 수준의 모델 성능 및 추론 속도를 달성했다.​이 연구는 LLM이 다양한 어플리케이션에서 높은 수준의 사용자 경험을 제공하는 데 핵심 기술로 활용될 것으로 기대된다. 해당 논문은 오는 7월에 개최되는 머신러닝 분야 최고 권위의 학회인 ICML 2024에서 발표될 예정이다. 특히 전체 제출 논문 중 최상위 1.5%만 선정되는 구두 발표(Oral Presentation) 세션에 채택되어 그 우수성을 인정받았다."Any-Precision LLM: Low-Cost Deployment of Multiple, Different-Sized LLMs​", Yeonhong Park, Jake Hyun, SangLyul Cho, Bonggeun Sim, Jae W. Lee, ICML 2024.​...
포스트 대표 이미지

송현오 교수 연구진, 효율적 모델 추론을 위한 맥락 및 깊이 압축 기술과 다중목적 최적화 기술로 세계 선도

메모리 효율적 언어모델 추론을 위한 실시간 맥락 압축 기법 개발인공 신경망 깊이 압축을 위한 레이어 제거 공동 최적화 알고리즘 개발탐욕 정책 학습을 통한 블랙박스 다중목적 조합 최적화 기법 개발송현오 교수 연구진이 실시간 언어모델 맥락 압축 기법, 인공 신경망 레이어 공동 최적화 알고리즘, 블랙박스 다중목적 조합 최적화 기법을 개발하였다.실시간 언어모델 맥락 압축 [1]: ChatGPT와 같은 트랜스포머 기반 대규모 언어모델은 이전 대화 등의 맥락 정보를 처리한 다음, 연산 결과(key/value)를 캐시에 저장하여 이후 추론에 사용한다. 한편 입력값의 길이가 길어질 수록 캐시에 저장되는 값들의 용량이 커지며 언어모델 추론 연산 또한 많아진다. 본 연구에서는 언어모델의 입력값 정보를 지속적으로 압축하여 효율적인 대규모 언어모델 추론을 가능하게 하는 방법을 제안하였다. 제안하는 압축 방법은 언어모델 추론에 매우 작은 수준의 오버헤드를 더하며, 기존 방식 대비 5배 이상 작은 메모리로 동일 수준의 추론 성능을 달성한다.인공신경망 레이어 공동 최적화 [2]: 본 연구는 기존의 인공신경망 깊이 압축 알고리즘인 (1) 합성곱 레이어를 제거하는 전략과 (2) 비선형 활성화 함수를 제거하여 연속적인 합성곱 층을 하나의 층으로 병합하는 전략을 상호 보완적으로 사용하여 기존 최고기술보다 네트워크의 성능을 유지하면서 효율성을 향상시킬 수 있음을 보여준다. 이를 위해, 원하는 추론 속도를 달성하면서 성능 손실을 최소화하기 위해 제거할 활성화 층과 합성곱 층을 공동으로 최적화하여 선택하는 문제와 새로운 깊이 압축 방법인 LayerMerge를 제안한다. 이 선택 문제는 지수적 탐색 공간을 가지므로, 우리는 새로운 대리 최적화 문제를 공식화하고 이를 동적 프로그래밍을 통해 효율적으로 해결한다. 실험 결과, 우리의 방법은 이미지 분류 및 생성 작업에서 다양한 네트워크 아키텍처에 대해 기존의 깊이 압축 및 층 가지치기 방법보다 일관되게 뛰어난 성능을 보였다.블랙박스 다중목적 조합 최적화 [3]: 블랙박스 다중목적 조합 최적화는 문자열, 그래프 등 조합적 대상에서 정의된 여러 블랙박수 목적함수를 함께 최적화하는 기법으로, 신약 개발 등 큰 사회적 파급효과를 지닌 다양한 문제들에 적용될 수 있다. 쿼리-효율성을 위해 주로 연구되고 있는 능동학습 기반 방법들은 기존 평가된 데이터를 바탕으로 다음 쿼리에 넣을 최적 배치(batch)를 선정하는 부분집합선택 문제를 해결해야 한다. 본 연구는 목적 집합 함수의 하위모듈성(submodularity)에 착안하여, 탐욕 알고리즘을 모사하도록 학습한 탐욕 정책 모델을 통해 최적 배치를 선정하는 능동 학습 기법을 제안한다. 제안한 기법은 적색 형광 단백질 최적화 벤치마크에서 목표 성능을 달성하는데 필요한 쿼리 횟수를 기존 방법들보다 1.69배 이상 줄이는 결과를 얻었다.해당 연구는 머신러닝 최우수 학회인 ICLR 2024과 ICML 2024에 발표될 예정이다.[1]“Compressed Context Memory For Online Language Model Interaction”, Jang-Hyun Kim, Junyoung Yeom, Sangdoo Yun, Hyun Oh Song, ICLR 2024[2]"LayerMerge: Neural Network Depth Compression through Layer Pruning and Merging", Jinuk Kim, Marwa El Halabi, Mingi Ji, Hyun Oh Song, ICML 2024[3]"Training Greedy Policy for Proposal Batch Selection in Expensive Multi-Objective Combinatorial Optimization", Deokjae Lee, Hyun Oh Song, Kyunghyun Cho, ICML 2024...
포스트 대표 이미지
포스트 대표 이미지
포스트 대표 이미지
포스트 대표 이미지