중소·중견기업 AI 도입, 왜 열에 일곱은 기대에 못 미치나 — 실패 패턴 6가지와 첫 과제 고르는 법

9월 28일

5분 분량

먼저 답부터. 중소·중견기업의 AI 도입이 실패하는 이유는 기술이 아니라 대부분 과제 선정에 있습니다. 첫 과제를 "자주 반복되고, 데이터가 이미 있고, 틀려도 사람이 잡을 수 있는 업무"로 좁히면 실패 확률은 눈에 띄게 내려갑니다. 이 글은 그 기준과, 저희가 현장에서 실제로 그렇게 골랐던 프로젝트 다섯 건을 정리한 것입니다.

요즘 미팅에서 자주 듣는 말

"작년에 챗봇 하나 만들어봤는데, 아무도 안 써요."

올해 만난 중견 제조사 임원 열 분 중 서너 분은 비슷한 이야기를 하셨습니다. AI 프로젝트의 70~80%가 기대한 성과를 내지 못한다는 조사가 다시 회자되는데(출처마다 정의가 달라 수치는 편차가 큽니다. "절반 이상은 기대에 못 미친다" 정도로 읽는 게 안전해 보입니다), 저희 체감도 크게 다르지 않습니다. 국내 자료들도 공통적으로 원인을 "기술 부족"이 아니라 "운영 기준 부재"에서 찾습니다.

문제는 30~300명 규모 회사에서 실패 한 번의 비용이 대기업보다 훨씬 크다는 겁니다. 돈 때문이 아닙니다. 첫 실패가 "우리 회사엔 AI가 안 맞더라"는 결론으로 굳어지고, 그 뒤로 2~3년이 그냥 지나가기 때문입니다.

중소·중견기업 AI 도입, 실패는 대체로 이 여섯 가지 중 하나다

몇 년간 제안서와 착수 미팅을 거치며 쌓인 목록입니다. 순서는 자주 보는 순입니다.

1. 문제 정의 없이 도구부터 고른다. "ChatGPT를 업무에 쓰자"는 목표이지 과제가 아닙니다. 어떤 업무의 어떤 병목을 얼마나 줄일지가 없으면 나중에 성과를 잴 자도 없습니다.

2. 데이터 정리를 건너뛴다. 견적서가 PDF, 엑셀, 카톡 캡처에 흩어져 있고 담당자마다 부르는 이름이 다른 상태에서 모델을 붙이면, 나오는 건 "AI가 이상하다"는 불신뿐입니다. 이 단계를 생략해 성능이 안 나온 사례는 국내에서도 반복해서 보고됩니다.

3. 경영진이 승인만 하고 빠진다. PoC 결과를 볼 사람이 없으면 성공해도 확산되지 않습니다. 대표님이 2주에 한 번 결과 화면을 직접 보는 것, 이게 생각보다 결정적입니다.

4. 사용 기준이 없어 현장이 각자 쓴다. 누가 어떤 업무에 어떤 데이터를 넣어도 되는지 한 장짜리 기준이 없으면, 섀도 AI가 생기고 어느 날 고객 데이터가 외부 서비스에 들어가 있습니다.

5. 첫 과제를 너무 크게 잡는다. "전사 지식 챗봇"은 첫 과제로 거의 항상 부적합합니다. 부서 전체가 얽히면 성과가 나기 전에 이해관계 조정에서 지칩니다.

6. 파트너를 데모 완성도로 고른다. 데모는 누구나 잘 만듭니다. 우리 데이터로 2주 안에 결과를 보여주는지, 도입 뒤 운영까지 같이 붙는지가 진짜 기준이어야 합니다.

첫 AX 과제, 세 가지 질문으로 고르기

저희가 착수 미팅에서 실제로 쓰는 표입니다. 후보 업무마다 세 축을 1~5점으로 매기고 합산 점수가 높은 것부터 시작합니다.

축	착수 미팅에서 던지는 질문	5점인 경우
반복 빈도	이 일이 하루에 몇 번 생기나요?	매일 수십 건 이상
데이터 확보 가능성	최근 6개월치 사례를 이번 주 안에 모을 수 있나요?	메일함·시스템에서 바로 추출
실패 비용	AI가 틀리면 누가, 언제 잡나요?	사람이 발송 전 확인하는 초안

세 축이 모두 높은 업무, 그러니까 자주 반복되고 데이터가 이미 있고 틀려도 사람이 잡는 업무가 첫 과제로 가장 안전합니다. 제조사라면 주문·견적 문의 메일 분류와 답변 초안이 대표적이고, IT 서비스사라면 운영 티켓 1차 분류가 거의 항상 여기에 걸립니다.

실제로 이렇게 골랐던 프로젝트 다섯 건 (고객명은 가렸습니다)

이론보다 사례가 빠를 것 같아, 저희가 진행했거나 제안 단계까지 간 프로젝트를 골라봤습니다. 공통점은 첫 과제를 위 표로 좁혔다는 것이고, 차이는 산업과 데이터 사정입니다.

1. 아웃도어 장비 제조사 A사 — 뉴스레터 하나로 시작해 챗봇까지

마케팅 담당자가 한 분뿐인, 50명이 안 되는 제조사였습니다. 처음 요청은 "AI로 마케팅을 자동화하고 싶다"였는데, 이대로 받으면 실패 패턴 1번과 5번을 동시에 밟게 됩니다.

그래서 첫 과제를 아주 작게 잡았습니다. 경쟁사 가격과 업계 뉴스를 미국·한국·유럽 소스에서 자동 수집하고, LLM으로 요약해 매주 뉴스레터로 보내는 것. 이 카테고리는 GfK 같은 시장 데이터가 없어서 담당자가 손으로 훑던 일이었습니다. 매주 반복되고, 공개 웹이라 데이터 확보가 쉽고, 요약이 틀려도 읽고 거르면 그만이었죠.

반응이 좋았습니다. 그 신뢰 위에서 기존 제품 사진으로 배경·차량 변형 이미지를 만드는 콘텐츠 자동화로, 그 다음 RAG 기반 챗봇으로 순서를 잡았습니다. 이 회사 대표님이 AI를 "직원 한 명 더 뽑는 것과 비교"해서 판단하시더라는 게 인상적이었는데, 50명 안팎 회사에서는 이게 자연스러운 계산인 것 같습니다.

그림 1. A사의 3단계 확장 — 뉴스레터 자동화 → 마케팅 콘텐츠 생성 → RAG 챗봇

2. 같은 A사의 미국 법인 — 개선 항목 66건을 한꺼번에 하지 않기

미국 법인은 사정이 달랐습니다. 현장 실사를 하니 개선 항목이 66건 나왔습니다. 여기서 흔한 실수가 66건을 로드맵에 다 넣는 것입니다.

대신 12주를 셋으로 나눴습니다. 처음 4주는 커머스·ERP·고객지원 툴이 실제로 어떻게 연결돼 있는지 검증하고 KPI 기준선을 재는 데만 씁니다. 그 다음 6주에 주문 처리, 마케팅 워크플로, 챗봇 연동처럼 반복 빈도가 높은 것만 골라 구현하고, 마지막 2주는 운영 이관과 문서화입니다. 나머지 항목은 버리는 게 아니라 우선순위 백로그에 둡니다.

한국 본사 쪽도 비슷했습니다. 전 부서 진단에서 96건이 나왔고, "ERP는 바꾸지 않고 연계한다", "부서 단위로 순차 진행한다", "끝나면 자체 운영으로 넘긴다"는 세 원칙으로 6개월 계획을 잡았습니다.

3. 보안 소프트웨어 기업 B사 — "전부 번역"이 아니라 "보안 용어만"

범용 LLM 번역은 보안 용어에서 자주 틀렸고, 그래서 기계번역 뒤에 사람이 교정하는(MTPE) 방식으로 버티고 계셨습니다. 여기서 "전 문서 번역 자동화"로 가면 실패 패턴 5번입니다.

첫 과제는 보안 용어집과 과거 번역 쌍으로 파인튜닝한 전용 번역 모델 하나였습니다. 번역 요청은 매일 들어오고, 번역 쌍은 이미 수년치가 쌓여 있었고, 결과는 어차피 담당자가 검수합니다. 세 축이 다 맞았습니다. 검수에서 나온 교정본이 다시 학습 데이터로 돌아가는 구조라, 쓸수록 나아지는 것도 이 과제의 장점이었습니다.

4. 이미용 가전 제조사 C사 — 플랫폼보다 데이터베이스가 먼저

헤어드라이어를 만드는 회사가 "AI 매칭 플랫폼을 만들고 싶다"고 오셨습니다. 미용사 35만 명을 잇는 멘토·멘티 플랫폼이라는 그림은 좋았는데, 그 플랫폼이 추천할 콘텐츠가 아직 없었습니다.

그래서 첫 과제를 플랫폼이 아니라 헤어·스타일 콘텐츠 데이터베이스로 잡았습니다. 메타데이터를 구조화해서 쌓는 일입니다. 화려하진 않지만, 이걸 건너뛰면 실패 패턴 2번에 그대로 빠집니다. 그 위에 매칭 플랫폼, 그 다음 B2B 콘텐츠 제휴로 가는 3단계입니다.

5. 저희 회사 — 5개 시스템에 흩어진 숫자를 에이전트로 모으기

남의 회사 이야기만 하면 염치가 없으니 저희 것도 하나. 테크에이스 내부에서도 매출·비용·현금흐름이 5개 시스템에 흩어져 있어서, "이번 분기 현금 어떻게 되나"에 답하려면 몇 시간이 걸렸습니다.

ERP를 갈아엎는 대신 현금흐름 분석, 매출 예측, What-if 시뮬레이션을 각각 맡는 에이전트를 붙여 대시보드 하나로 모았습니다. 데이터 입력 포인트가 60% 넘게 줄었고, 몇 시간 걸리던 시나리오 분석이 몇 초로 내려왔습니다. 지금 매일 쓰고 있습니다.

다섯 건을 한 장에 놓으면

다섯 건의 공통점은 첫 과제가 "가장 인상적인 것"이 아니라 "가장 먼저 성공할 수 있는 것"이었다는 점입니다. C사만 왼쪽에 있는데, 데이터가 없어서 데이터를 만드는 것 자체가 첫 과제였던 경우입니다.

시작 전 6문항 자가 점검

위 실패 패턴을 그대로 뒤집은 것입니다. 여섯 개 모두 "예"가 아니면 아직 시작할 때가 아닐 수 있습니다.

이 과제의 성공 기준이 숫자(처리 시간, 건수, 오류율)로 적혀 있는가?
최근 6개월치 실제 데이터를 이번 주 안에 모을 수 있는가?
의사결정자가 2주마다 결과를 직접 보기로 했는가?
어떤 데이터를 AI에 넣으면 안 되는지 한 장짜리 기준이 있는가?
첫 과제의 이해관계자가 한 팀 안에 들어오는가?
파트너가 우리 데이터로 결과를 보여주고, 운영까지 같이 붙는가?

자주 받는 질문

Q. AI 인력이 없는데 시작할 수 있나요?

저희 고객 대부분이 그렇습니다. 위 표로 과제를 좁히면 회사 쪽에서 필요한 건 데이터 접근 권한과 현업 담당자 한 분이고, 모델과 구축은 외부 파트너가 맡는 구조가 일반적입니다.

Q. PoC와 실전 도입은 뭐가 다른가요?

PoC는 "되는지", 실전 도입은 "매일 쓰는지"를 봅니다. 첫 과제부터 실제 담당자가 매일 쓰는 업무를 고르면 이 간극이 거의 사라집니다.

Q. 첫 과제는 보통 얼마나 걸리나요?

위 사례 기준으로 4~12주 사이였습니다. 이보다 길어지면 과제가 너무 큰 신호로 봅니다.

Q. 제조업이라 데이터가 현장에 흩어져 있는데요.

그게 제조업에서 가장 흔한 출발점입니다. 그럴 땐 C사처럼 "데이터를 모으는 것" 자체를 첫 과제로 잡는 편이 챗봇부터 만드는 것보다 빠릅니다.

테크에이스는 어떻게 돕나

테크에이스(TecAce)는 2000년부터 글로벌 기업의 소프트웨어를 만들어온 회사이고, AX 사업부는 그중 중소·중견기업의 AI 전환(mid-market AI transformation)을 맡습니다. Anthropic Claude 파트너로 12명의 Claude 인증 아키텍트가 있고, 서울과 미국 벨뷰(Bellevue, WA) 두 거점에서 FDE(Forward Deployed Engineer, 상주 엔지니어)를 고객사에 파견합니다. 원격 자문이 아니라 고객사 데이터로 결과를 보여주고, 도입 뒤 운영 기준을 세우는 것까지 같이 붙는 방식입니다.

첫 과제를 어디서 잡을지 고민이라면 기업 AI 전환 컨설팅 페이지에서 진행 방식을 보실 수 있고, 사내 문서를 AI가 찾아 쓰게 만드는 쪽이 급하다면 AI 지식 허브(AXKH)가 출발점이 됩니다.