LG그룹의 정보기술(IT) 서비스 기업 LG CNS의 직원들이 고객사의 AI 프로젝트 현장에서 흔히 듣는 질문이다. 네이버·구글을 통한 일반 검색 서비스에 익숙한 고객사의 직원들은 사내에 도입하는 생성형 AI 서비스도 빠르고 정확한 답변을 제시해주길 원한다. 최신 기술이 적용된 대규모언어모델(LLM)만 쓴다고해서 고객 만족도를 높이기는 어렵다. 고객이 최종적으로 AI 서비스를 쓸 수 있도록 해주는 △기획·설계 △인프라 △사용자인터페이스(UI)·사용자경험(UX)까지 잘 갖춰져야 비로소 AI의 품질도 좋아질 수 있기 때문이다.
LG CNS는 고객사의 시스템을 전체적으로 이해하고 최적화하면서 AI를 접목해 고객의 업무 생산성을 높이는데 주력하고 있다. LG CNS의 AI 프로젝트를 진두지휘하고 있는 임은영 AI센터 Generative AI 사업단장을 최근 서울시 강서구 LG사이언스파크에 위치한 사옥에서 만났다. 그는 고객의 AI 만족도를 끌어올린 사례와 함께 회사의 AI 전략에 대해 풀어놓았다. 2000년 LG CNS에 입사한 임 단장은 수많은 IT서비스 프로젝트를 수행한 전문가다. 2019년부터 2022년6월까지 AI/RPA 사업팀장을 맡았으며 2022년7월부터 현재까지 Generative AI 사업단을 이끌고 있다.
탄탄한 '설계·인프라·화면' 있어야 AI 품질도 좋다
생성형 AI를 업무에 도입하길 원하는 기업 고객들이 가장 먼저 찾는 것은 챗봇이다. 사내 데이터를 학습한 AI가 내재된 챗봇을 통해 수작업을 줄이며 시간을 절약할 수 있기를 원한다. 사내에 구축된 AI 챗봇은 기업의 검증된 데이터를 기반으로 답을 하기에 신뢰할 수 있다. 업무 담당자가 바뀌었는데 인수인계가 제대로 이뤄지지 않더라도 후임자가 AI 챗봇에게 질문을 던지며 궁금증을 해소할 수 있다.LG그룹의 제조 계열사 중 한 곳도 LG CNS가 자연어 기반의 AI 챗봇을 구축해주길 원했다. 자연어란 의사소통 과정에서 사용되는 일반적인 언어다. 컴퓨터에서 사용되는 프로그래밍 언어처럼 사람이 의도적으로 만든 인공어와 대비되는 개념이다. 이 계열사는 제조 과정에서 불량품이 나오면 원인과 조치방안을 보고서로 만들어 보관했다. 이후 동일한 불량품이 발생했을 때 담당자가 과거의 이력을 찾으려 했지만 관련 보고서를 찾기가 어려웠다. 기존 검색 방식으로는 제목이나 본문에 검색어가 반드시 포함되어 있어야 해당 글이 검색된다. 하지만 제목과 본문에는 검색어가 없고 첨부된 보고서 파일에만 검색어가 있는 경우가 많았다.
LG CNS는 이점에 착안, AI를 활용해 마이크로소프트 오피스의 워드·PPT·엑셀 등의 파일에서 텍스트를 추출해 이를 메타 데이터로 쪼개어 벡터(Vector) 데이터베이스(DB)에 저장했다. 벡터 DB란 텍스트를 숫자의 배열 형태로 변환해 저장한 DB다. 검색어가 제목이나 본문에 없고 첨부파일에만 있어도 벡터DB를 참조해 그 결과값을 사용자에게 보여줄 수 있게 됐다. 이로 인해 이 계열사는 첨부파일을 일일이 열어봐야 하는 번거로움을 덜고 시간도 절약할 수 있게 됐다.
한 은행도 자연어 기반의 AI 챗봇으로 업무 생산성을 향상시켰다. 고객이 영업점을 방문해 특정 펀드에 가입하고 싶다고 하면 창구 직원은 관련 펀드안내서 파일을 찾아야 했다. 하지만 이젠 AI 챗봇에게 'ㅇㅇ펀드에 대해 설명해줘'라고 질문하면 투자처·이익률·가입방법 등을 즉시 확인할 수 있다. 영업점 직원은 빠르게 문의에 응대할 수 있고 고객은 기다리는 시간을 줄일 수 있다.
이같은 생성형 AI 프로젝트에서 임 단장과 직원들은 검색 정확도를 높이는데 어려움을 겪었다. 고객은 자신의 질문에 대한 정확한 답이 빠르게 나오길 원한다. 하지만 기존 검색 및 AI 기술로 고객의 눈높이를 맞추는 것은 여간 어려운 일이 아니다. 이에 LG CNS는 생성형 AI가 본격적으로 도입되기 전부터 검색용 AI 모델 'KEYLOOK'을 자체적으로 만들어 프로젝트에 적용했다. 임 단장은 "KEYLOOK은 자체 개발 모델이기에 스스로 수정 작업을 하며 성능을 향상시켰다"며 "한국어 검색 성능이 뛰어나 고객의 검색 만족도를 높이는데 중요한 역할을 했다"고 말했다.
고객이 검색 정확도 다음으로 중요하게 여기는 것이 '속도'다. 검색어 입력 후 결과가 나오는데 조금만 지연이 되어도 화를 내는 고객이 부지기수다. 검색 속도는 DB 쿼리문을 잘 작성하거나 우수한 성능의 LLM을 도입하는 것에 앞서 시스템 설계와 인프라까지 잘 갖춰져야 빨라질 수 있다. 고객의 업무환경은 다양하다. 클라우드에서 필요한 기능이 담긴 API(애플리케이션 프로그래밍 인터페이스)만 불러와서 이용하는 고객이 있는가 하면 자체 데이터센터의 온프레미스 환경에 그래픽처리장치(GPU)를 설치해 그 위에 AI 모델을 얹어 시스템으로 만든 고객도 있다. 이처럼 다양한 업무환경을 제대로 파악하고 최적화해야 검색 속도와 정확도도 올라갈 수 있다. 이 때문에 LG CNS와 같은 IT서비스 기업에게는 하드웨어와 소프트웨어가 포함된 기획·설계부터 서버·스토리지·네트워크·보안 등의 인프라와 고객이 실제로 보는 화면의 UI와 UX까지 파악하고 최적화할 수 있는 능력이 필수다. 임 단장은 "AI 챗봇 뒷단에서 돌아가는 시스템을 잘 알아야 AI 챗봇의 답변 및 성능 품질까지 보장할 수 있다"며 "LG CNS는 전사적으로 아키텍처 최적화 관련 전문 인력을 보유하고 있으며 이들이 고객의 시스템을 최적화해 AI 만족도를 높일 수 있다"고 말했다.
LG CNS는 이같은 기업용 업무 시스템 전문성에 AI 활용 능력을 더해 고객들의 요구사항에 대응하고 있다. 특히 생성형 AI는 △오픈AI의 GPT △엔트로피의 클로드 △메타의 라마 △LG AI연구원의 엑사원 등 다양한 LLM 중 고객사의 업무 성격 및 시스템에 적합한 것을 적용하고 있다. AI와 함께 클라우드 도입도 고려하는 기업 고객을 공략하기 위해 클라우드 사업도 펼치고 있다. LG CNS는 클라우드관리서비스제공사업자(MSP)다. 이에 아마존웹서비스(AWS)·마이크로소프트(MS)·구글클라우드 등 클라우드서비스제공사업자(CSP)들과도 협력하고 있다.
공공·금융 AI 수요 노린다
AI와 클라우드 경쟁력으로 무장한 LG CNS가 올해 특히 주목하는 시장은 공공과 금융이다. 공공 시장에는 2024년 정보화전략계획(ISP)을 마련하고 올해 본사업 발주을 준비하고 있는 기관들이 있다. 행정안전부는 범정부 플랫폼 구축 ISP 프로젝트를 진행했고 올해 본사업 발주를 앞두고 있다. LG CNS는 앞서 경찰청의 'AI 수사 도우미' 사업을 수주했다. 공공 시장에서는 얼마나 많은 사업들이 '대기업참여제한' 예외 사업으로 인정받느냐가 관건이다. 공공 SW 사업에서 대기업이 참여할 수 있는 사업규모를 700억원 이상으로 완화하는 것을 골자로 한 소프트웨어진흥법 개정안은 국회 과학기술정보방송통신위원회 법안소위를 통과하지 못하고 있다. 
금융도 주목받는 시장이다. 2024년에 주요 은행과 신용카드사들이 AI 도입 프로젝트를 진행한 가운데 올해는 보험·증권사들의 AI 사업이 발주될 것으로 예상된다. 임 단장은 금융 생성형 AI 사업은 단일 서비스보다 플랫폼 기반으로 진행될 것이라고 내다봤다. AI 기능은 금융기관의 모바일 앱뿐만 아니라 콜센터 등 다양한 서비스에 활용된다. 이 때문에 플랫폼에 각종 AI 기능이 담긴 API를 탄탄하게 구축해놓으면 각 서비스에서 API를 호출해서 쓸 수 있다. 임 단장은 "플랫폼 기반으로 AI API를 만들어야 각 운영 조직에서 AI를 활용하기 쉽다"며 "베테랑 직원의 지식이나 노하우를 데이터화해 AI가 이를 학습하고 저연차 직원이 AI를 통해 배울 수 있는 체계를 만들어야 할 것"이라고 말했다. LG CNS는 다수의 금융기관 고객을 확보했다. 신한카드의 생성형 AI 플랫폼 개발은 완료했으며 NH농협은행의 '생성형 AI 플랫폼'도 구축하고 있다.
공공·금융을 제외한 일반 기업들이 있는 민간 시장에서는 대규모 AI 사업이 발주되기는 어려운 상황이다. 국내·외 경기가 둔화된 가운데 기업들이 대규모 투자는 줄이며 비용 감소에 주력하고 있기 때문이다.
LG CNS는 고객에게 제안하는 모든 프로젝트에 AI를 곁들이는 '앱 with AI' 전략을 이어갈 계획이다. AI를 통해 고객 업무의 효율성을 끌어올릴 수 있다는 것을 먼저 제안하면서 AI의 도입을 확산하고 고객사도 늘리는 전략이다.
