LATEST TECH ARTICLES

The following text has been translated from Korean to English using AssistAce . Sungjin (James) Kim, Ph.D. | LinkedIn  | YouTube Case Study of Translation LLM Fine-Tuning Introduction The technology of Large Language Models (LLMs) is advancing rapidly. There are various ways to utilize LLMs, including prompting, embedding, and fine-tuning. In this article, we will focus on fine-tuning, which requires a significant amount of GPU computing resources. While it is possible to sec

Sungjin (James) Kim, Ph.D. | LinkedIn  | YouTube 번역 전문 LLM 파인튜닝 사례 들어가기 거대언어모델 (Large Language Model; LLM) 기술이 날로 발전하고 있다. LLM을 활용하는 방법은 여러가지가 있으며 활용하기 위한 기본 방법으로는 프롬프팅, 임베딩, 파인튜닝 등이 있다. 이 글에서는 이 중에 GPU 컴퓨팅 리소스를 많이 필요로 하는 파인튜닝 방법을 다루고자 한다. 고성능 컴퓨팅 리소스는 디바이스로 확보해서 사용할 수도 있지만 클라우드 환경에서 사용한다면 좀 더 번거러움을 줄일 수 있는 장점이 있다. 이런 상황에 맞추어 클라우드에서 AI 학습과 추론을 편하게 할 수 있는 특화된 클라우드 서비스들이 많이 나오고 있다. Vessl은 그 중의 하나로 LLM을 비롯한 생성AI를 다루는 부분도 기본적으로 고려되고 있는 서비스이다[1]. 이 글에서는 LLM 중의 하나인 M2M100 모델을 Vessl

Sungjin (James) Kim, Ph.D. | LinkedIn Table of Contents Introduction The Structure and Operating Principle of the Transformer Encoder Operation Decoder Operation Types and Applications of Transformer-based LLMs Encoder-Only Approach Decoder-Only Approach Encoder-Decoder Approach Latest Methods Implications Introduction Generative AI (GenAI), including Large Language Models (LLMs), has seen significant advancements since the introduction of the transformer architecture[1]. Int

배경 AI산업이 급성장함에 따라, 온프레미스 AI 인프라 구축사례가 지속 증가하고 있습니다. 저희 테크에이스는 컴퓨팅 솔루션 전문 기업 에이맥스와의 파트너쉽 을 통하여, 엔비디아의 고성능 텐서 코어 장비인 H100, A100 모델 등을 정부기관 및 산업체에 공급 하고 있습니다. 특히 고사양 HPC의 경우 발주부터 설치까지의 리드타임이 최대 52주 이상 발생되는 상황이지만, 저희 테크에이스는 미국 워싱턴에 본사를 두고 20년이상 영업망을 구축하고 있기에, 보다 빠르게 제품을 확보하여 적기에 공급하고 있습니다. 아울러 AI 인프라 구축시 수반되는 물류 관리, 전력 및 공간을 포함한 환경셋업, 스펙 및 기능점검, 클러스터링, 모니터링 등 설치 및 운영 작업에 대한 전문적 컨설팅과 기술 지원까지 제공하고 있습니다. 이번 아티클에서는 H100 장비의 주문, 배송 및 설치 작업이 어떻게 진행되는지에 대한 실제 고객납품 사례를 바탕으로 설명해 드리고자 합니다.

Status In the AI realm, the GPU landscape is starkly divided. The technological landscape is increasingly being divided into two distinct categories: 'GPU rich' and 'GPU poor'. This division, predominantly seen in the AI industry, is creating a significant gap in capabilities and advancements between different companies and regions. This gap is primarily due to the unequal distribution and accessibility of Graphics Processing Units (GPUs). Giants like Google, Microsoft, and M

BACKGROUND The customer was looking to start an LLM project but was in a time crunch. The current solution was to purchase Nvidia’s DGX...