LATEST TECH ARTICLES

The following text has been translated from Korean to English using AssistAce . Sungjin (James) Kim, Ph.D. | LinkedIn  | YouTube Case Study of Translation LLM Fine-Tuning Introduction The technology of Large Language Models (LLMs) is advancing rapidly. There are various ways to utilize LLMs, including prompting, embedding, and fine-tuning. In this article, we will focus on fine-tuning, which requires a significant amount of GPU computing resources. While it is possible to sec

Sungjin (James) Kim, Ph.D. | LinkedIn  | YouTube 번역 전문 LLM 파인튜닝 사례 들어가기 거대언어모델 (Large Language Model; LLM) 기술이 날로 발전하고 있다. LLM을 활용하는 방법은 여러가지가 있으며 활용하기 위한 기본 방법으로는 프롬프팅, 임베딩, 파인튜닝 등이 있다. 이 글에서는 이 중에 GPU 컴퓨팅 리소스를 많이 필요로 하는 파인튜닝 방법을 다루고자 한다. 고성능 컴퓨팅 리소스는 디바이스로 확보해서 사용할 수도 있지만 클라우드 환경에서 사용한다면 좀 더 번거러움을 줄일 수 있는 장점이 있다. 이런 상황에 맞추어 클라우드에서 AI 학습과 추론을 편하게 할 수 있는 특화된 클라우드 서비스들이 많이 나오고 있다. Vessl은 그 중의 하나로 LLM을 비롯한 생성AI를 다루는 부분도 기본적으로 고려되고 있는 서비스이다[1]. 이 글에서는 LLM 중의 하나인 M2M100 모델을 Vessl

This article was translated from Korean into English using  AssistAce . What is On-Device AI? As artificial intelligence (AI) technology advances at a rapid pace, it is bringing many changes to our daily lives. Among these changes, 'On-Device AI', a key innovation to be significantly spotlighted in 2024, performs AI computations directly within the user's device, providing benefits such as personal information protection, reduced latency, and decreased dependency on internet

온디바이스 AI란? 인공지능(AI) 기술이 빠른 속도로 발전하면서 우리 일상에 많은 변화를 가져오고 있다. 이러한 변화의 한 축을 이루는 '온디바이스 AI'는 2024년에 크게 주목받는 혁신 기술 중 하나이다. 이 기술은 사용자의 기기 내에서 AI 연산을 직접 수행함으로써, 개인정보 보호, 낮은 지연 시간, 인터넷 연결 의존도 감소 등의 이점을 제공한다. 클라우드 기반 AI와 대비하여 온디바이스 AI는 기기 내에서 데이터를 실시간으로 처리하는 강점을 지니고 있다. 이러한 강점 덕분에, 이 기술은 스마트폰부터 웨어러블 기기, 가정용 스마트 기기 등 다양한 분야에 활용되며, 이를 통해 사용자 경험을 더욱 풍부하게 하고 기기의 자율성을 높일 것으로 기대된다. 특히 온디바이스 AI의 발전은 개인 정보 보호와 데이터 보안이 중요해진 현재의 디지털 환경에서 큰 의미를 가진다. 사용자 데이터가 기기 내에서만 처리되기 때문에, 보안과 프라이버시 측면에서 상당한

배경 AI산업이 급성장함에 따라, 온프레미스 AI 인프라 구축사례가 지속 증가하고 있습니다. 저희 테크에이스는 컴퓨팅 솔루션 전문 기업 에이맥스와의 파트너쉽 을 통하여, 엔비디아의 고성능 텐서 코어 장비인 H100, A100 모델 등을 정부기관 및 산업체에 공급 하고 있습니다. 특히 고사양 HPC의 경우 발주부터 설치까지의 리드타임이 최대 52주 이상 발생되는 상황이지만, 저희 테크에이스는 미국 워싱턴에 본사를 두고 20년이상 영업망을 구축하고 있기에, 보다 빠르게 제품을 확보하여 적기에 공급하고 있습니다. 아울러 AI 인프라 구축시 수반되는 물류 관리, 전력 및 공간을 포함한 환경셋업, 스펙 및 기능점검, 클러스터링, 모니터링 등 설치 및 운영 작업에 대한 전문적 컨설팅과 기술 지원까지 제공하고 있습니다. 이번 아티클에서는 H100 장비의 주문, 배송 및 설치 작업이 어떻게 진행되는지에 대한 실제 고객납품 사례를 바탕으로 설명해 드리고자 합니다.

Status In the AI realm, the GPU landscape is starkly divided. The technological landscape is increasingly being divided into two distinct categories: 'GPU rich' and 'GPU poor'. This division, predominantly seen in the AI industry, is creating a significant gap in capabilities and advancements between different companies and regions. This gap is primarily due to the unequal distribution and accessibility of Graphics Processing Units (GPUs). Giants like Google, Microsoft, and M

Graphics processing units (GPUs) are specialized hardware devices that are designed to perform complex calculations for rendering graphics, such as 3D models, animations, and video games. GPUs are also used for other applications that require high-performance computing, such as artificial intelligence, machine learning, and cryptocurrency mining. However, in recent years, the demand for GPUs has far exceeded the supply, leading to a global shortage that has frustrated many co

Graphics processing units (GPUs) are specialized hardware devices that are designed to perform complex calculations for rendering graphics, such as 3D models, animations, and video games. GPUs are also used for other applications that require high-performance computing, such as artificial intelligence, machine learning, and cryptocurrency mining. There are two main companies that produce GPUs: Nvidia and AMD. Both companies have their own advantages and disadvantages, and cho

BACKGROUND The customer was looking to start an LLM project but was in a time crunch. The current solution was to purchase Nvidia’s DGX...