최신 기술 콘텐츠

"스마트폰에 AI를 올린다고요?" — 시작된 무모한 도전 테크에이스 AI Supervision 팀의 On-Device LLM Tester 제작기 "저... 스마트폰에서 LLM 성능을 자동으로 측정하고 싶어요." 회의실에 잠깐의 침묵이 흘렀다. 우리 팀은 자체 온디바이스 AI 챗봇을 개발 중이었다. 문제는 모델을 바꿀 때마다 테스트하는 사람이 직접 폰을 붙들고, 프롬프트를 하나씩 보내고, 시간을 손으로 재야 했다는 것. 그 과정이 무려 60분 넘게 걸렸다. 당시 챗봇에는 3B 파라미터 모델이 탑재되어 있었는데, Phi-4 Mini(3.8B), Gemma 3(4B), Llama 3.2(3B), Qwen 3(4B) 같은 신모델들이 쏟아지고 있었다. 이 모델들을 일일이 수동으로 테스트하다간 모델 비교만 하다가 한 달이 지나가는 상황. "그냥 자동화합시다." 그렇게 On-Device LLM Tester 프로젝트가 시작됐다. 목표는 딱 세 가지였다. Hugg