LATEST TECH ARTICLES

Sungjin (James) Kim, Ph.D. | LinkedIn  | YouTube 번역 전문 LLM 파인튜닝 사례 들어가기 거대언어모델 (Large Language Model; LLM) 기술이 날로 발전하고 있다. LLM을 활용하는 방법은 여러가지가 있으며 활용하기 위한 기본 방법으로는 프롬프팅, 임베딩, 파인튜닝 등이 있다. 이 글에서는 이 중에 GPU 컴퓨팅 리소스를 많이 필요로 하는 파인튜닝 방법을 다루고자 한다. 고성능 컴퓨팅 리소스는 디바이스로 확보해서 사용할 수도 있지만 클라우드 환경에서 사용한다면 좀 더 번거러움을 줄일 수 있는 장점이 있다. 이런 상황에 맞추어 클라우드에서 AI 학습과 추론을 편하게 할 수 있는 특화된 클라우드 서비스들이 많이 나오고 있다. Vessl은 그 중의 하나로 LLM을 비롯한 생성AI를 다루는 부분도 기본적으로 고려되고 있는 서비스이다[1]. 이 글에서는 LLM 중의 하나인 M2M100 모델을 Vessl

RAG란? 비즈니스 환경에서 데이터의 중요성이 갈수록 커지고 있다. 기업들은 방대한 데이터를 효과적으로 관리하고, 이를 기반으로 전략적 결정을 내리는 과정에서 많은 도전에 직면한다. 이런 상황에서 검색 증강 생성(Retrieval-Augmented Generation, RAG) 기술이 눈길을 끌고 있다. RAG는 데이터 검색과 정보 생성을 결합하여 사용자의 질문에 대한 보다 정확하고 관련성 높은 답변을 제공하는 머신 러닝의 한 형태다. 자연어 처리(NLP) 분야에서 특히 주목받는 RAG는 기존의 모델이 학습한 정보에만 의존하는 대신, 관련 정보를 검색해 모델 입력에 추가하는 방식으로 작동한다. 이 방식을 통해, 모델은 새로운 질문이나 문제에 대응할 때 외부에서 검색한 정보를 참조함으로써 더 정확하고 다양한 답변을 생성할 수 있다. 대규모 언어 모델(Large Language Models, LLMs)의 기능을 특정 도메인이나 조직의 내부 지식 베이스

Sungjin (James) Kim, Ph.D. | LinkedIn  | YouTube 목차 들어가며 트랜스포머 구조와 동작 원리 인코더 동작 디코더 동작 트랜스포머 기반 LLM의 종류와 활용 Encoder 단독 방식 Decoder 단독 방식 Encoder-Decoder 방식 최신 방식들 시사점 들어가며 생성형 인공지능 (Generative AI; GenAI) 중의 한가지인 거대언어모델 (Large language model; LLM)은 트랜스포머 구조가 발표되면서 많은 발전이 있어 왔다[1]. 트랜스포머 구조는 2017년 구글이 발표한 "Attention is All You Need" 논문에서 처음 소개되었다. 이 구조는 이전의 시퀀스-투-시퀀스(Sequence-to-Sequence) 모델들과는 다르게, 전체 시퀀스를 한 번에 처리할 수 있는 '어텐션(Attention)' 메커니즘을 중심으로 설계되어 있다 [1, 2, 3]. 이후 GPT가 기본

본 글은 AssistAce 를 이용하여 영문에서 한글로 번역되었습니다. OpenAI의 최근 성공과 널리 퍼진 API 덕분에, GPT Wrapper가 테크업계에서 인기 있는 도구로 떠올랐습니다. 이 Wrapper라는 것은 사용자가 OpenAI의 API와의 상호작용을 더욱 쉽게 할 수 있도록 도와주는 소프트웨어 계층입니다. 이 애플리케이션에 AI 기능을 통합하는 과정을 단순화시켜, AI에 대한 전문 지식이 부족한 사람들도 ChatGPT나 DALL-E 같은 고급 모델을 활용할 수 있게 합니다. 이 글에서는 GPT Wrapper의 자세한 특징을 살펴보고, 일반적인 애플리케이션과의 차이점, 그리고 이 도구의 장점과 단점을 알아볼 예정입니다. GPT Wrapper란? GPT Wrapper는 기본적으로 미들웨어, 즉 두가지의 개별 애플리케이션을 연결하여 그들의 상호 작용을 용이하게 해주는 소프트웨어입니다. 이러한 맥락에서 Wrapper는 OpenAI의 고급 A

본 글은 AssistAce 를 이용하여 영문에서 한글로 번역되었습니다. Large Language Models (LLM)의 기술적 발전은 텍스트 생성, 번역, 챗봇 등 다양한 분야에서 핵심 기술로 자리매김하게 하였다. 맥락 이해와 자연어 생성 능력의 향상, 세밀 조정 API와 플러그인의 지원은 개인의 창의성과 학습에 큰 이익을 가져다준다. 하지만, 그들의 출력물의 품질 평가는 여전히 중요한 도전 과제로 남아있다. 이 포스트에서는 LLM 결과의 평가의 중요성, LLM 평가와 LLM 기반 시스템 평가의 차이, 그리고 LLM 결과 평가의 유형, 방법, 지표에 대해 설명한다. LLM 결과 평가의 중요성 LLM 결과를 평가하는 것은 여러 가지 이유로 중요하다: LLM 성능 개선 : LLM 결과를 평가함으로써 LLM 모델의 장점과 약점을 파악하고 이를 활용하여 성능을 향상시킬 수 있다. 평가 결과는 모델 학습 접근법, 데이터셋 구성, 하이퍼파라미터 조정의 개

본 글은 AssistAce 를 이용하여 영문에서 한글로 번역되었습니다. 2024년이 시작되면서, UX 디자인의 세계는 AI의 진보에 힘입어 혁명적인 변모를 겪고 있습니다. AI와 UX 디자인의 결합은 전통적인 접근방식을 넘어서, UX를 구상하고 제공하는 방식에 근본적인 변화를 가져오고 있습니다. 이는 더욱 동적이고 AI 중심의 방식으로의 전환을 의미합니다. 디지털 환경을 재형성하며, 혁신적인 해결책과 더욱 향상된 UX를 선사하는 AI 주도 UX 디자인의 주요 다섯 가지 트렌드를 종합적으로 살펴보겠습니다. 예측 분석을 활용한 맞춤형 UX:  AI가 주도하는 예측 분석은 UX 디자인에서 새로운 수준의 개인화를 가능하게 합니다. 이 알고리즘들은 사용자의 행동, 취향, 그리고 과거 상호작용을 분석하여 미래의 행동을 예측합니다. 이 트렌드는 상품 추천을 위한 전자상거래 플랫폼과 콘텐츠 제안을 위한 스트리밍 서비스에서 널리 보이며, 개인의 선호에 맞춰 UX를

온디바이스 AI란? 인공지능(AI) 기술이 빠른 속도로 발전하면서 우리 일상에 많은 변화를 가져오고 있다. 이러한 변화의 한 축을 이루는 '온디바이스 AI'는 2024년에 크게 주목받는 혁신 기술 중 하나이다. 이 기술은 사용자의 기기 내에서 AI 연산을 직접 수행함으로써, 개인정보 보호, 낮은 지연 시간, 인터넷 연결 의존도 감소 등의 이점을 제공한다. 클라우드 기반 AI와 대비하여 온디바이스 AI는 기기 내에서 데이터를 실시간으로 처리하는 강점을 지니고 있다. 이러한 강점 덕분에, 이 기술은 스마트폰부터 웨어러블 기기, 가정용 스마트 기기 등 다양한 분야에 활용되며, 이를 통해 사용자 경험을 더욱 풍부하게 하고 기기의 자율성을 높일 것으로 기대된다. 특히 온디바이스 AI의 발전은 개인 정보 보호와 데이터 보안이 중요해진 현재의 디지털 환경에서 큰 의미를 가진다. 사용자 데이터가 기기 내에서만 처리되기 때문에, 보안과 프라이버시 측면에서 상당한

본 글은 AssistAce 를 이용하여 영문에서 한글로 번역되었습니다. 질문: Web 3.0은 AI에 의해 구동되는가? 네, Web 3.0이 부분적으로 AI에 의해 구동된다고 말할 수 있습니다. AI는 Web 3.0의 많은 측면에서 중요한 추진력이며, 그것의 능력을 향상시키고 더욱 지능적이고 반응적인, 개인화된 웹의 실현을 가능하게 합니다. 그러나, Web 3.0은 AI만을 포함한 것이 아닌 웹의 다면적인 진화라는 것을 인식하는 것이 중요합니다. 그것은 블록체인, 분산 네트워크, 사물인터넷(IoT) 등의 기술을 통합하여 Web 3.0 패러다임을 공동으로 정의합니다. 디지털 혁신의 다이나믹한 풍경에서, 인공 지능(AI)은 웹 3.0의 발전을 추진하는 중추적인 역할을 하는 것으로 등장하였습니다. 이 최신 버전의 인터넷은 종종 Semantic Web으로 알려져 있으며, 보다 상호 연결되고, 지능적이며, 사용자 중심의 온라인 경험으로의 변혁적인 도약을