[생성형 AI 상용화 사례] 안랩 글로벌 전문 번역 서비스 - 개발 스토리

TecAce Software
Aug 1, 2024
3 min read

미국 시애틀에 본사를 둔 24년 업력의 IT 업체 테크에이스는 2023년부터 회사의 비전과 사업 전략을 AI Transformation으로 변경하였으며, 지속적으로 LLM Foundation을 활용한 솔루션 개발과 파트너사 협력 과제를 수행하고 있습니다.

이번 포스팅에서는 2024년 6월에 상용화된 안랩 AI 글로벌 번역 서비스를 개발하면서 경험한 몇 가지 사례를 공유합니다.

CHALLENGE

글로벌 전문 보안 회사인 (주)안랩은 IT 산업의 급성장에 따라 빠르게 진화하는 보안 취약점을 조기에 발견하고, 이에 대응하기 위해 다양한 업종의 고객에게 보안 뉴스와 정보를 제공하고 있습니다. 이러한 과정에서 수많은 전문 보안 용어가 등장하며, 같은 용어라도 일반적인 뜻과 다른 의미를 내포하는 경우가 많아 보안 전문 번역을 반드시 필요로 합니다. 글로벌 IT 시장에서 보안 위험이 발견되면 신속하게 최신 보안 리포트를 배포해야 하지만, 보안 전문 용어와 안랩의 기술 용어에 익숙한 훈련된 번역사가 많지 않습니다. 또한, 기계 번역 서비스를 사용하더라도 품질 오류가 자주 발생해 MTPE(Machine Translation Post Editing)로 신속한 대응에 한계가 있습니다.

SOLUTION

테크에이스는 안랩에서 필요로 하는 경쟁력 있는 AI 전문 번역 서비스를 출시하기 위해 PoC 단계를 통해 다양한 번역 데이터 쌍(pairs)을 학습시켰고, 이를 통해 기존 안랩의 리포트와 유사한 수준의 번역된 리포트를 생성할 수 있었습니다. 특히 생성형 AI는 기존 시스템 개발과 달리 예측할 수 없는 여러 이슈를 발생시킬 수 있으며, 이를 프롬프트 엔지니어링, 파인튜닝, 사전/사후 소프트웨어 코딩 등을 통해 해결하고 상용화에 성공했습니다. 생성형 AI는 모든 입력값에 대해 출력값을 완벽히 예측할 수 없고, 동일한 입력에 대해서도 다른 출력이 나올 수 있기 때문에, 결과에 대한 다양한 평가와 고객 맞춤형 시스템 구축이 매우 중요하다는 것을 깨달았습니다.

LESSON

LLM의 신뢰성을 확보하는 방법

최근 다양한 Foundation Model의 벤치마크 순위가 발표되며 모델의 우수성이 강조되고 있습니다. 그러나 기업 입장에서 실제 도입하려는 모델의 적합성을 검토하는 것은 쉽지 않습니다. 테크에이스 AI 개발팀은 오픈AI, 메타, 앤트로픽 등의 외부 모델을 활용하여 AI 번역 기능을 테스트하고, 자체 구축한 모델 검증 플랫폼을 통해 최적의 번역 모델을 선정하였습니다. 이를 위해 고객사의 기존 번역 데이터를 기준으로 BERT Score와 번역 업계의 평가지표인 METEOR, BLEU Score 등을 사용하여 모델의 응답결과를 평가하였습니다. 이러한 모델 평가 시스템과 프로세스를 구축함으로써 신규 모델들의 지속적인 평가가 가능해졌으며, 고객사의 온프레미스 요청과 트래픽에 따른 운영 비용 효율화도 검토할 수 있습니다.

맥락을 이해하는 고객사 맞춤형 번역 결과 도출

번역 업계에서는 Glossary를 활용한 1:1 단어 치환 기능과 TM(Translation Memory)을 통해 기존 번역 내용을 재사용하여 일관된 번역 품질을 제공합니다. 테크에이스는 이와 같은 방식으로 고객사의 원문과 번역 결과를 Pairs 데이터로 분류하고 이를 지속적으로 학습시켜 나감으로써, 고객사의 스타일에 최적화된 번역 결과를 도출했습니다.

이는 단순히 외부 샘플에 맞춰 학습하는 것이 아니라, 고객사의 필요에 의해 검증된 데이터를 기반으로 최적의 맞춤형 번역 품질을 제공하는 것입니다. 아울러 LLM모델에서 제공하는 Chat모드의 활용과, 맥락에 맞게 chunk단위로 분류하여 Fine-tuning을 수행함으로써 일관된 스타일의 AI번역 결과를 도출하였습니다.

생성형 AI의 돌발적인 오류 관리

외부 LLM 모델을 활용하여 서비스를 구현할 때, 가장 우려되는 부분은 예측 불가능한 오류 발생입니다. 어제 정상 작동하던 모델이 오늘 의도치 않은 결과를 낼 수 있으며, 문제해결을 시도하지만 재현이 불가능한 경우도 발생합니다. 이는 LLM 모델이 학습한 모든 데이터를 직접 관리하지 않는 이상 피할 수 없는 문제이며, 근본적인 개선도 어렵습니다.

테크에이스는 이러한 할루시네이션과 돌발적인 오류를 해결하기 위해 각 기업에 맞춘 다양한 Metrics 기반의 sLLM을 개발, 운영하고 있습니다. 이는 각 기업과 사업의 특성에 맞는 기준과 데이터를 기반으로 파인튜닝된 생성형 AI의 결과값을 평가하는 방식이며 상용화 수준의 서비스품질 확보를 위하여 반드시 필요한 부분입니다. 평가결과를 바탕으로 개선된 결과를 얻기 위해 Pre/Post 엔지니어링이 함께 수반되어야합니다.

지속적인 품질 확보를 통한 서비스 경쟁력 강화

AI를 활용한 산업이 지속적으로 성장함에 따라, 각 기업은 자신만의 데이터 특성과 중요도를 반영한 AI 서비스를 준비하고 있습니다. AI 시장 초기에 안정적인 품질의 맞춤형 AI 솔루션을 구축하는 것이 중요하며, 이는 AI 기술 경쟁력을 확보하고 사업의 성공에 기여할 것입니다.

엔진이 업데이트될때마다 기존에 확보한 품질에 영향이 없는지 회귀테스트를 진행하고, 배치테스트를 통하여 LLM모델의 품질을 주기적으로 모니터링함으로써 안정성을 확보해야 됩니다. 당연히 LLM이 적용되는 서비스에서의 민감도와 중요도에따라 평가의 기준값(Threshold)을 조정할 필요가 있습니다.

TECACE AI SUPERVISION

테크에이스는 LLM 모델자체를 개발하고 벤치마크 경쟁에 동일하게 참여하기보다는, 고객사의 필요에 맞춘 모델을 찾고 이를 파인튜닝하며 품질을 검증하고 개선해 나가는 AI 상용화 트랜스포메이션 분야에 집중하고 있습니다. AI 품질평가 솔루션의 경쟁력을 강화하기 위해 다양한 평가 시스템과 프로세스를 제공하기위하여, 테크에이스의 기술과 경험을 바탕으로 고객사 맞춤형 품질감리 서비스인 AI Supervision solution을 제공하고있습니다. AI 서비스 개발운영을 위한 AI Quality Assurance 분야에서 두각을 나타내길 기대하고 있으며, 함께 새로운 AI 시장의 성공스토리를 만들어갈 파트너사를 찾고 있습니다.

[백서] AI 산업의 안정성과 위협에 대한 보완 방안: 독립적인 AI 감리 기관 도입의 필요성

[Case Study] 사용자 데이터 기반 파인튜닝 방식을 활용한 기업용 전문 번역 모델 생성