고객응대·수리접수·의료상담까지… 일본의 AI 에이전트 도입 현장

일본 기업들이 생성형 AI를 활용한 ‘AI 에이전트’ 도입을 본격화하고 있다. 기존의 단순 챗봇이나 FAQ 자동응답 수준을 넘어, 실제 업무 시스템을 조작하고 고객 응대·업무 처리·문서 작성까지 수행하는 형태로 발전하고 있는 것이 특징이다. 특히 최근에는 AI가 고객 상황을 이해하고 사내 시스템과 연동하여 업무를 실행하거나, 인간 직원의 업무를 보조·평가하는 사례까지 등장하고 있다.

정부의 생성형 AI 실증 지원사업으로 현장 도입에 훈풍

경제산업성이 추진한 생성형 AI 개발 지원 사업 ‘GENIAC-PRIZE’를 계기로, 일본에서는 다양한 산업 분야에서 실용형 AI 에이전트 개발이 활발히 진행되고 있다. 단순히 생성형 AI 스타트업만 참여하는 것이 아니라, 실제 업무 현장을 가진 기업·학교·재단 등이 함께 개발에 참여하고 있다는 점도 특징이다.

[자료: KOTRA 도쿄무역관 종합]

<日기업이 도입한 주요 AI 에이전트>

[자료: KOTRA 도쿄무역관]

JTB: AI 에이전트로 여행 취소·변경 대응 자동화

여행회사 JTB는 생성형 AI 스타트업 카라쿠리와 협력해, 자연재해나 교통 장애로 인해 여행 일정의 취소·변경이 필요한 고객 문의에 대응하는 AI 에이전트를 개발했다. 기존에는 상담원이 고객 문의를 직접 확인하고, 항공편 결항·철도 운행 중단 여부에 따라 취소 수수료 면제나 환불 가능 여부를 개별 판단해야 했다. 특히 태풍·폭설 등 악천후 시에는 문의가 평소의 수십 배로 늘어나 상담원 부담이 컸다.

이번 AI 에이전트는 단순히 고객 질문에 답하는 챗봇이 아니라, JTB 내부의 여러 업무 시스템을 직접 조회·조작하는 방식으로 설계됐다. AI는 여행 상품 정보를 관리하는 핵심 업무 시스템, 항공 등 교통 장애 정보를 공유하는 인트라넷, 철도 운행 중단 여부를 바탕으로 취소 가능성을 판정하는 사내 시스템 등 3개 시스템과 연동된다. LLM은 카라쿠리의 ‘KARAKURI VL’을 사용했으며, 전체 워크플로는 Python으로 구축됐다.

구체적으로 AI 에이전트는 고객이 JTB 웹사이트를 통해 보낸 메시지를 분석해 긴급성·중요도를 판단한 뒤, 필요한 정보를 각 시스템에서 수집한다. 웹 UI로 구성된 핵심 업무 시스템은 Selenium을 통해 조작하고, 철도 운행 중단 판정 시스템은 API로 조회한다. 이후 AI는 고객에게 보낼 답장 초안을 작성하거나, 취소·환불 판단의 근거 정보를 상담원에게 제시한다.

다만 최종 메시지 발송이나 취소 실행 버튼 클릭은 반드시 상담원이 담당하도록 했다. 이는 AI의 오판이나 오발송 위험을 방지하면서도, 상담원이 직접 확인해야 하는 정보 수집·판단·답변 작성 시간을 크게 줄이기 위한 구조다. JTB는 AI에 모든 것을 맡기기보다 업무 흐름을 세밀하게 분해하고, 각 단계별로 AI와 기존 프로그램 로직을 적절히 조합한 점이 실용화의 핵심이었다고 평가하고 있다.

와 카라쿠리의 ‘문의응답 AI에이전트’는 GENIAC-PRIZE 이용자 혁신상을 수상>

[자료: JTB]

산덴 RS: AI 에이전트가 수리 접수를 담당

산덴 리테일시스템(산덴RS)은 냉동·냉장 쇼케이스, 냉동 보관고, 음료 자동판매기 등 다양한 업무용 기기의 수리 접수 업무를 자동화하기 위해 AI 에이전트를 개발했다. 기존 수리 접수는 웹 양식 기반으로 운영됐으나, 약 50개에 달하는 입력 항목 때문에 마지막까지 입력을 완료하는 비율이 12% 수준에 불과했다. 또한 폭염 시기에는 기기 고장이 급증하면서 전화 문의가 집중돼 고객센터 업무 부담이 매우 컸다.

이에 산덴 RS는 전화·팩스 중심 대응을 줄이고, AI를 활용해 수리 접수를 디지털상에서 완료할 수 있도록 하는 것을 목표로 했다. AI 에이전트는 웹사이트의 채팅 화면에서 작동하며, 숙련 상담원의 실제 응대 절차를 프로세스 맵으로 시각화한 뒤 이를 기반으로 워크플로와 프롬프트를 설계했다. 이를 통해 정형화된 정보 수집 정확성을 유지하면서도, 실제 상담과 유사한 유연한 대응이 가능하도록 구현했다.

<산덴RS의 AI에이전트 이용 흐름>

[자료: 산덴RS]

AI는 고객과의 대화를 통해 제품 모델명, 제조 번호, 설치 장소, 고장 증상 등을 확인한다. 사용자가 잘못된 정보를 입력하는 경우에도 이를 문맥상 이해하고 적절히 유도하는 것이 특징이다. 예를 들어 모델명을 묻는 질문에 제조번호를 입력하면 “해당 번호는 제조번호로 보인다”며 다시 모델명을 요청하고, 모델명 위치를 모른다고 답할 경우 제품 종류를 추정해 스티커 위치 등을 안내한다. 이후 AI는 제조·출하 데이터베이스를 조회해 보증 기간 여부나 유상 수리 여부를 판단하고, 방문지·청구지 등 추가 정보를 수집한 뒤 수리 수배 단계로 연결한다.

산덴 RS는 이러한 시스템을 여러 개의 전문 AI가 협력하는 ‘멀티 에이전트’ 구조로 구축했다. 제품 식별, 보증 확인, 고장 판정 등 기능별 서브 에이전트를 두고, 이를 ‘오케스트레이터’ 에이전트가 통합 제어하는 방식이다. 개발에는 AI 에이전트 프레임워크 ‘Mastra’를 활용했으며, TypeScript 기반으로 워크플로를 구현했다. 현재는 Anthropic의 Claude를 중심으로 활용하고 있으나, 일본산 LLM인 NTT의 ‘tsuzumi’, 카라쿠리의 ‘KARAKURI LM’, Preferred Networks의 ‘PLaMo’ 등도 병행 검증하고 있으며, 일본어 이해 성능 측면에서 실용 수준에 도달했다고 평가하고 있다.

알코트학원: 생성형 AI로 학부모 응대 자동화

학교법인 알코트학원이 운영하는 요코하마시의 ‘시미즈가오카 유치원’은 생성형 AI를 활용해 유치원 운영 업무를 자동화하는 AI 에이전트를 자체 개발했다. 구글의 클라우드 서비스인 Google Workspace의 웹 애플리케이션 개발 기능 ‘Web Apps’와 LLM ‘Gemini’를 조합해 구축했으며, 현재는 학부모 문의 대응뿐 아니라 정기 간행물 제작, 공문서 작성, 교사 교육 지원 등 다양한 업무에 실제 활용되고 있다.

대표적인 활용 사례는 학부모 문의 대응이다. 학부모가 걸어온 전화는 자동 음성 응답 시스템을 통해 텍스트화되며, AI 에이전트가 이를 분석·요약한 뒤 5분 이내에 교사들에게 업무용 채팅 서비스 ‘Chatwork’를 통해 전달한다. 이후 교사가 학부모에게 다시 연락하는 과정에도 AI가 개입한다. 음성 분석 기능을 갖춘 IP 전화 서비스 ‘MiiTel’과 연동해, AI가 통화 내용뿐 아니라 감정 변화, 경청 비율, 발화 타이밍 등 대화의 질까지 분석하고 개선점을 제안한다. 이를 통해 학부모 응대의 신속화와 품질 개선을 동시에 추진하고 있다.

문서 작성 업무 역시 AI로 자동화했다. 학원 소식지, 학부모 안내 메일, 행사 전단지 등 다양한 문서를 AI가 작성하며, Google Workspace 내 행사 정보와 과거 문서, 업무용 채팅 기록 등을 참조해 내용을 생성한다. 이에 따라 사람이 수행하는 작업은 최종 수정 및 확인 정도로 줄어들었다. 알코트학원은 AI 활용 범위를 지속 확대해 직원과 교사의 업무 부담을 줄여 나갈 계획이라고 설명하고 있다.

<알코트학원이 AI에이전트를 활용해 자동작성하는 소식지>

[자료: 알코트학원]

해당 AI 에이전트는 IT 엔지니어 경력을 가진 스즈키 유다이 부원장이 직접 개발했으며, 워크플로는 Google App Script(GAS) 기반으로 구현됐다. 업무 데이터는 Google 스프레드시트, 문서 템플릿은 Google 문서를 활용하는 구조다. 특히 GAS의 최대 실행 시간이 6분으로 제한된다는 점을 해결하기 위해, 작업을 중간 저장 후 재개하는 데이터 스토어 관리 기능도 자체 구현했다. 또한 Gemini 외에도 여러 LLM을 병행 활용해 업무 특성에 따라 최적의 모델을 선택해 사용하고 있다.

재택 암 요양 재단: 신뢰할 수 있는 정보로 답변

재택 암 요양 재단은 암 환자와 가족을 대상으로 증상, 치료, 요양 방법 등에 대한 정보를 대화형으로 제공하는 AI 채팅 서비스 ‘랜턴(Lantern)’을 개발했다. 해당 서비스는 2025년 6월부터 일반인을 대상으로 무료 제공되고 있으며, 의사와 연구자가 작성한 신뢰성 높은 의료 정보를 기반으로 답변하는 것이 특징이다. 개발은 도쿄대 명예교수인 코다마 타츠히코 회장을 중심으로 재단 소속 의사·엔지니어들이 자체적으로 진행했다.

랜턴은 생성형 AI의 핵심 과제인 ‘할루시네이션(Hallucination, 환각)’ 문제를 줄이기 위해 RAG(검색 증강 생성) 기술을 채택했다. 이는 신뢰할 수 있는 외부 정보를 검색한 뒤, 이를 근거로 LLM이 답변을 생성하는 방식이다. 개발에는 AI 에이전트 플랫폼 ‘Dify’를 활용했으며, 구현이 간단하고 향후 LLM 교체나 기능 변경이 용이하다는 점을 높게 평가했다. 특히 의료 분야 특성상 답변의 정확성과 신뢰성 확보를 최우선 과제로 두고 시스템을 설계했다.

재단은 우선 외부 참조 데이터베이스를 의학 학회의 진료 가이드라인 등 검증된 정보만으로 구성했다. 또한 의약품 관련 오류를 방지하기 위해, AI가 상품명을 자동으로 성분명으로 변환해 처리하는 알고리즘도 도입했다. 일본에는 약 2만 개 이상의 의약품 상품명이 존재하기 때문에, 유사 명칭 혼동이 발생할 경우 치명적인 오정보로 이어질 수 있다는 판단 때문이다. 이 외에도 개별 진단이나 치료법 추천을 요구하는 질문에는 답변을 제한하고 “주치의와 상담해 달라”고 안내하도록 설계했다.

랜턴은 이용자의 수준과 상황에 따라 설명 난이도를 조절할 수 있다는 점도 특징이다. 전문적인 의료 근거 중심 설명부터 초등학생도 이해할 수 있는 쉬운 표현까지 AI가 자동으로 조절해 제공한다. 현재는 환자와 가족뿐 아니라 약사·간호사·요양보호사 등 의료 종사자들도 활용하고 있으며, 암 진단·치료·약물 상담·완화 의료·재택 요양·사회 지원 등 폭넓은 정보를 다루고 있다. 재단 측은 다양한 이용자들이 암 요양에 대해 공통된 이해를 얻을 수 있는 플랫폼으로 발전시키겠다는 방침이다.

시사점

일본의 AI 에이전트 활용은 단순한 챗봇이나 FAQ 자동응답 수준을 넘어, 실제 업무 프로세스를 수행·보조하는 단계로 빠르게 발전하고 있다. 특히 고객 응대, 수리 접수, 교육 행정, 의료 상담 등 사람의 판단과 커뮤니케이션이 중요한 영역에서 AI를 실무에 접목하려는 움직임이 확대되고 있다는 점이 특징이다. 단순히 최신 LLM을 도입하는 데 그치지 않고, 기존 업무 흐름을 세밀하게 분석한 뒤 AI와 정형 시스템을 결합하는 방식이 주류를 이루고 있다.

또한 일본 기업들은 범용 AI 하나에 모든 기능을 맡기기보다, 업무별 역할을 세분화한 멀티 에이전트 구조나 RAG 기반 고신뢰 시스템 등 현실적인 접근을 중시하고 있다. JTB는 기존 사내 시스템과 API·Selenium을 연계해 실제 업무를 처리하도록 했고, 산덴 RS는 여러 서브 에이전트를 조합해 복잡한 수리 접수를 자동화했다. 재택 암 요양 재단 역시 의료 분야 특성을 고려해 할루시네이션 방지와 정보 신뢰성 확보에 중점을 두고 시스템을 설계했다.

특히 이번 사례들은 생성형 AI의 경쟁력이 단순 모델 성능 자체보다도, 업무 프로세스 설계와 데이터 연계, 사용자 경험(UX) 최적화에 있다는 점을 보여준다. 실제 현장에서는 AI 단독 판단보다는 사람의 최종 승인 구조를 유지하거나, 검증된 데이터만 활용하는 방식이 많았으며, 이를 통해 실용성과 안전성을 동시에 확보하려는 경향이 나타났다.

도쿄 소재 IT서비스 기업 T사의 D부장은 “최근 일본 기업들의 AI 도입 상담을 보면, 단순히 ‘생성형 AI를 써보고 싶다’는 단계에서 벗어나 실제 업무 시스템과 어떻게 연계할 수 있는지를 중요하게 보는 분위기”라며, “특히 고객 대응이나 내부 업무 지원 분야에서는 AI가 실제로 업무를 수행할 수 있는 수준까지 요구가 높아지고 있다”고 평가했다. 또한 그는 “일본 기업은 AI의 정확성뿐 아니라 설명 가능성과 운영 안정성까지 함께 검토하는 경향이 강하다”고 덧붙였다.

한국 기업 입장에서는 일본 시장 진출 시 단순한 AI 기술력뿐 아니라, 일본 기업의 업무 흐름에 맞춘 시스템 연계 능력과 현장 적용성 확보가 중요해질 것으로 보인다. 또한 일본 시장은 고객 응대 품질, 설명의 자연스러움, 신뢰성 확보 등을 중시하는 경향이 강한 만큼, 현지 업무 프로세스와 문화에 맞춘 세밀한 커스터마이징 역량이 경쟁력으로 작용할 가능성이 높다.

자료: JTB, 산덴RS 등 각사 홈페이지, 경제산업성 및 GENIAC-PRIZE, 닛케이XTech, KOTRA 도쿄 무역관 자료 종합