ChatGPT및 LLM의 광풍이 여전합니다. LLM model size가 커짐에 따라 성능은 점점 더 memory BW에 의해 좌우되는 방향으로 가고 있습니다. 이에 따라서, 특정 연산 기능을 memory 내부에 구현하여, 더 높은memory BW 성능을 낼 수 있는 PIM에 새로운 기회가 열리고 있습니다. 본 강연에서는 최근 AI algorithm의 trend 및 그에 따른 PIM의 기회를 datacenter와 on device AI 양 측면에서 살펴 보고, 전체 AI service pipeline상에서 다양한 형태의 computing과 memory가 결합된 specialty memory solution의 가능성에 대해 소개하고자 합니다.​

-