최신 기술 콘텐츠

Sungjin (James) Kim, Ph.D. | LinkedIn  | YouTube 목차 들어가며 트랜스포머 구조와 동작 원리 인코더 동작 디코더 동작 트랜스포머 기반 LLM의 종류와 활용 Encoder 단독 방식 Decoder 단독 방식 Encoder-Decoder 방식 최신 방식들 시사점 들어가며 생성형 인공지능 (Generative AI; GenAI) 중의 한가지인 거대언어모델 (Large language model; LLM)은 트랜스포머 구조가 발표되면서 많은 발전이 있어 왔다[1]. 트랜스포머 구조는 2017년 구글이 발표한 "Attention is All You Need" 논문에서 처음 소개되었다. 이 구조는 이전의 시퀀스-투-시퀀스(Sequence-to-Sequence) 모델들과는 다르게, 전체 시퀀스를 한 번에 처리할 수 있는 '어텐션(Attention)' 메커니즘을 중심으로 설계되어 있다 [1, 2, 3]. 이후 GPT가 기본