NVIDIA

주제

NIM(NVIDIA Inference Microservice)을 이용한 연구 방법론

경력

NVIDIA ( 2009- 현재)
2019.11 ~ NVIDIA AI Technology Center(NVAITC) Korea , Center Lead
2014.1 ~ NVIDIA Sr. Solution Architect for DL and HPC 2009.1 ~ NVIDIA solution Architect for HPC, CUDA Specialist

2008.3~2018. 연세대학교 수학과 박사과정 수료
2006.3~2008.2 연세대학교 수학과 석사과정 졸업
(1997.3 -2002.2) 연세대학교 상경계열 (경제,경영) 학사

초록

본 발표에서는 연구 개발에 Large Language Model(LLM)을 도입하기 위해서 NIM(NVIDIA Inference Service)를 활용하는 방법에 대해서 소개합니다. 사실, LLM에 대한 사전지식이 없이 Web 채팅 기반으로 NIM 서비스를 통해 다양한 분야의 연구 개발에 LLM을 적용할 수 있습니다. 하지만, LLM의 구조와 Message 처리 기법을 이해하면 API를 활용해 좀더 원할하게 연구개발에 활용할 수 있습니다. 이를 위해 먼저, LLM의 구조인 Token Embedding, MHSA(Multi Head Self Attention)구조와 CLM(Causal Language Modeling) pretrain 방법론을 이해하고, Instruction 기반 Supervised Finetune 기법을 살펴볼 예정입니다. 그리고Autoregressive Inference 구현을 위한 KV Cache 구조와 Long Context 처리, RAG 처리를 위한 DB구축 방법론을 살펴볼 예정입니다. 이를 통해 각 연구분야에 NIM서비스를 통하여 LLM을 효율적으로 적용해볼 수 있습니다.