[Case Study] 조금 더 지능적이고 시스템 적인 문서요약 방법 by AssistAce for Summary

최근 LLM을 활용한 AI 솔루션 중 가장 쉽게 도움을 받을 수 있는 기능 중 하나는 단연 요약 (Summary) 기능입니다. 긴 문서나 이해하기 어려운 문서를 짧고 이해하기 쉬운 내용으로 요약할 수 있다는 점에서 매우 유용합니다 .

이 기능은 이미 널리 활용되고 있으며, 뉴스, PDF문서, 웹페이지 등 다양한 형태의 문서 요약에 쉽게 접근할 수 있습니다.

Challenge

요약에 대한 고객들의 피드백을 통해 알 수 있듯, 요약기능에도 고개의 다양한 기대가 있음을 알 수 있었습니다. 일부 고객은 뉴스 요약을 원하고 다른 고객들은 기술 문서나 수 많은 제품 리뷰 등을 간단히 정리하길 원합니다. 또한 요약본이 누구에 의해 읽히느냐, 어떤 목적으로 사용되느냐 에 따라 요약본의 만족도를 상대적으로 평가할 필요가 있습니다.

정리하자면 아래의 요소들에 의해 요약본은 다르게 생성되어야 합니다.

• 문서의 종류 ex) 기술문서, 뉴스, 제품 리뷰, 인터뷰(회의록), 이야기 등

• 독자의 종류 ex) 독자의 수준, 독자의 언어, 독자가 원하는 요약 형식

• 사용용도 ex) 보고서 형태로 전환이 목표, 짧은 문서 형태로 공유가 목적, 쉽거나 전문적인 언어로 Rephrase 하는 목적

이 외에도 요약본의 길이조절이나 전문단어들의 개념 설명 등의 요청사항 등이 있었습니다. 단순한 요약기능이지만 특별한 용도로 사용하려고 하면 그 요약도 매우 다양한 커스터마이징 요구사항이 많이 있다는 것을 알 수 있었습니다.

Solution

우리는 보다 지능적이고 범용적인 요약 기능을 구현하려고 연구를 시작하였습니다. 다양한 조건에 맞춰 요약본을 만들기 위해 OpenAI와 Gemini, Claude등 다양한 LLM를 이용하여 많은 실험을 진행했습니다. 세 LLMs의 각각 장단점이 있지만 모두 좋은 성능을 보이고 있어서 어떤 LLM을 사용하더라도 큰 차이가 있지는 않습니다. (세가지의 LLM 장단점비교는 다음 세션에 다루도록 하겠습니다.)

다양한 요구사항을 충족시키기 위해 Prompt management Engine과 유기적으로 작동할 수 있는 Prompt Engineering을 수행하였습니다. 그리고, 기업 도메인에 맞춰 요약본에 사용될 단어를 적용하기 위해 LLM모델 자동 파인튜닝 기능을 적용하였습니다.

[그림 1] TecAce AssistAce for Summarization Flow (Ver.1.2)

고객의 편의를 위해 어떠한 문서 종류이든 한곳에서 요약을 실행할 수 있고 고객이 원하는 형태의 요약본을 생성해내는 것이 그 목적입니다.

이를 달성하기 위해 위 플로우로 구현을 하였습니다.

첫번째로 Prompt Generation 파트에서는 먼저 문서 종류를 파악하고 적합하게 요약할 수 있는 프롬프트를 생성 또는 지정하는 부분입니다. 다시 말하자면, LLM이 원본 문서를 읽어 보고 문서의 종류가 기술문서인지, 인터뷰나 회의 내용인지, 뉴스인지,  소설인지 등을 파악하고 그것에 걸맞는 요약형태로 생성될 수 있는 프롬프트를 지정하게 됩니다.

문서 종류에 따른 요약

지정된 프롬프트는 예를 들어 기술문서라면 문서의 목적을 이해한 후 개괄적인 내용과 각 파트별로 빠짐없이 언급될 수 있도록 계층화된 목차를 가진 요약 형태로 작업합니다.  이때 주요 토픽과 키워드를 찾아서 중요도에 따라 요약에 적용하고 생성합니다. 또는, 회의 또는 인터뷰라면, 각 화자들이 말하려고 하는 내용을  섞이지 않도록 분류하여 화자 별 논지를 요약합니다. 제품 리뷰 와 같은 내용이라면, 제품의 장단점을 분류하여 요약하여 줍니다. 뉴스의 경우 주요사건 위주로 나열하는 방식으로 요약합니다.

아래는 TecAce AssistAce for Summary의 실 예입니다. Samsung Developer portal의 한페이지를 요약을 시도하였습니다.

[그림 2] TecAce AssistAce for Summary 예시화면

위 예시로 설명을 하자면 문서를 기술문서로 인식하고 개괄적인 요약과 주요 내용을 정리하고 원하는 언어로 번역하여 보여줍니다.

추가적으로, 요약은 빠르게 문서를 이해는 목적으로 작성되는 것이기 때문에 이해를 돕는 Glossary 기능도 지원하고 있습니다. 본문상에 있는 어려운 단어나 전문단어들의 추가 설명을 본문이외의 소스에서 찾아서 알기 쉽게 설명해줍니다. 이는 압축된 요약을 빠르게 이해하는데 많은 도움을 주고 있습니다.

문서요약의 개인화

사용자는 2가지 피드백들을 산출물에 주면서 개인화된 요약모델로 발전시켜 나갈 수 있습니다. 첫번째로 본 요약으로 만족하면 ‘좋아요’ 버튼을 그렇지 않으면 ‘싫어요’ 버튼을 누른 후 다시 요약을 시도해볼 수 있습니다. ‘좋아요’의 경우, 사용자의 Prompt Management Engine에서 관리가 되어 다음 사용시에도 비슷한 문서종류라면 유사한 형식으로 요약을 생성해 냅니다. 반면, ‘싫어요’의 경우 Prompt Management Engine에서 다른 프롬프트를 생성해내고 보다 적합한 요약 즉 사용자가 원하는 요약을 생성해내기 위해 노력합니다. 마음에 드는 요약 형식이 나올 때까지 시도해보면 좋습니다. 다양한 프롬프트가 추가로 생성이 되면서 점점 더 사용자 원하는 방식으로 요약을 작성하게 되면서 자기만의 요약 프롬프트를 가질 수 있게 됩니다.

두번째로는, 보다 적극적으로 수정하는 방법도 제공합니다. 생성된 요약본을 수정할 수 있는 에디터 모드에서 요약 형태를 수정하거나 단어 문장을 원하는 형태로 변경할 수 있습니다. 수정된 형태와 단어를 추후 추가 학습하게 되고 비슷한 문서 도메인의 유사한 종류의 문서는 원하는 방식을 따라 요약되게 됩니다. 변경한 내용을 자동 저장하여 Fine-tune하는 기술입니다. 이것은 특허 출원된 TecAce의 ResourceAce 모델 향상 기법입니다. 사용자의 피드백을 통하여 모델을 직접 향상시킵니다.

문서의 형태를 파악하여 요약을 하는 기능에 지능적이고 시스템적으로 프롬프트와 모델을 향상시키는 플로우를 추가하여 초개인화된 요약 서비스를 사용할 수 있습니다.

Result

TecAce의 AssistAce for Summary는 진화를 거듭하며 진정한 개인화 요약 솔루션으로 자리매김하고 있습니다. 기존의 단순 요약 기능을 넘어, 다양한 문서 유형과 도메인, 사용 목적에 맞게 요약 결과를 맞춤화할 수 있게 되었습니다.

이를 통해 전사 차원에서 모든 부서와 개인이 자신의 필요에 따라 최적화된 요약 서비스를 이용할 수 있게 되었습니다. 마케팅팀은 브리핑 자료를 요약하고, 연구개발팀은 기술문서를 압축하며, 경영진은 회의록을 핵심적으로 정리할 수 있습니다. 개개인도 독서 노트나 메일 정리 등 다양한 활용이 가능해졌습니다.

핵심은 지속적인 사용자 피드백과 모델 개선입니다. 사용자가 만족할 때까지 반복적으로 요약 형식과 내용을 수정하고, 그 결과를 프롬프트와 모델에 반영하면서 개인화된 요약 모델을 구축해 나갑니다. 결과적으로 모든 사용자가 자신만의 전문 요약 어시스턴트를 갖게 되는 셈입니다.

이 같은 혁신적인 접근 방식을 통해 TecAce는 정보 공유와 효율적 지식 활용의 새로운 솔루션을 제공하고 있습니다.

Q&A

Q: AssistAce for Summary 솔루션의 가장 큰 특징은 무엇인가요? A: 고정된 일률적인 요약이 아닌, 사용자의 지속적인 피드백을 반영하여 개인화된 맞춤형 요약 모델을 제공하는 것이 가장 큰 특징입니다. Q: 사용자 피드백은 어떤 식으로 요약 모델 개선에 활용되나요? A: 사용자가 '좋아요' 또는 '싫어요'를 선택하거나 에디터에서 직접 수정하면, 이 피드백이 Prompt 생성 엔진과 LLM 모델에 반영되어 개인화된 맞춤 모델로 진화합니다. Q: 다양한 문서 유형에 따라 어떻게 최적의 요약이 제공되나요? A: 문서 종류 파악 및 Prompt Engineering 기술로 기술문서, 회의록, 제품리뷰 등 문서 특성에 맞는 프롬프트를 자동 생성하여 LLM에 입력하기 때문입니다. Q: 요약 결과의 시각화나 멀티모달 데이터 요약도 지원되나요? A: 현재 구현되어 있지 않지만, 추후 발전 방향에 따라 시각화 요약이나 멀티모달 데이터 요약 기능이 추가될 예정입니다. Q: 실제로 테스트 해보고 싶으면 어떻게 해야 하나요? A: Request a Demo를 통해서 연락바랍니다.