손가락을 한번 ‘딱’ 튕기는 데 필요한 시간. 그 찰나에 복잡한 업무 문서를 단번에 번역하고, 방대한 사내 규정집을 요약하며, 보고서 작성에 필요한 정보를 정확히 찾아내는 AI가 있으면 어떨까요?
CJ제일제당이 지난 11월 사내 업무용 AI모델인 ‘Snap AI’를 공개했습니다. 최근 몇 년 사이 다양한 생성형 AI 서비스가 출시되었지만 보안 문제로 실제 업무에 활용하기는 어려웠는데요. Snap AI는 내부 자료가 담긴 질의와 전문 용어를 포함한 업무 처리까지 가능하게 만든 사내 맞춤 생성형 AI입니다.
Snap AI 공개 후 매일 평균 300명이 넘는 직원들이 서비스를 활용하고 있습니다. 지금까지 처리한 질문은 13만 건이 넘고요. Snap AI를 기획하고 개발한 CJ제일제당 DX Lab 권윤지, 장승범, 하정헌 님을 만나 개발 스토리를 들었습니다.
안녕하세요. 간단한 자기소개 부탁드립니다.
권윤지 : 안녕하세요. 저는 Snap AI 프로덕트 오너를 맡고 있는 CJ제일제당 디지털혁신담당 DX Lab 권윤지입니다. 프로젝트가 잘 진행되도록 전반적인 로드맵을 설정하고, 일정과 리소스를 관리합니다.
장승범 : 저는 DX Lab 장승범입니다. 주로 백엔드* 쪽에서 AI 관련 기능 개발을 담당하고 있습니다.
하정헌 : 안녕하세요. DX Lab 소속 하정헌입니다. 저는 웹 서비스 개발을 담당하고 있습니다.
Snap AI는 어떤 프로젝트인가요?
권윤지 : Snap AI는 CJ제일제당 사내용으로 제작한 생성형 AI 서비스입니다. 전 세계 생성형 AI 시장을 선도하는 OpenAI의 GPT-4o API**를 활용해 개발한 서비스죠. 서드파티*** API를 활용해 번역, 웹 검색 기능 등을 고도화했고, 이외에도 다양한 기술을 동원해 제일제당 임직원에게 특화된 기능을 만들고 있습니다.
*백엔드 : 웹 개발에서 사용자에게 보이지 않는 영역을 개발하는 분야
**API(Application Programming Interface) : 응용프로그램 인터페이스. 개발자들은 특정 서비스의 API를 새로운 서비스 제작에 활용해 두 서비스를 연결한다.
***서드파티(Third Party) : 소프트웨어나 서비스를 제공하는 외부 업체. 주로 기존 시스템이나 플랫폼과의 통합을 통해 추가적인 기능이나 서비스를 제공하는 역할을 한다.
Snap AI, 프로젝트 이름은 무슨 뜻인가요?
권윤지 : ‘핑거 스냅(Finger Snap)’에서 따왔어요. 손가락을 한번 튕기는 쉽고 빠른 동작이요.
처음부터 AI 서비스를 개발하는 프로젝트로 시작한 건 아니에요. 초기엔 저희 디지털혁신담당의 경쾌하고 빠른, 즉 핑거 스냅 같은 조직문화를 생산성 도구들과 함께 전사로 퍼뜨려 보자는 아이디어 차원이었어요. 저희 디지털혁신담당에선 데이터를 시각화해 보여주는 태블로(Tableau), 데이터브릭스(Databricks)를 포함해서 생산성을 높여주는 서비스를 다양하게 제공하고 있거든요.
그러던 중 사전지식 없이도 사용하기 쉽고 진입장벽이 낮은 생성형 AI로 방향을 바꿔 사내 AI 서비스 개발에 집중하게 되었습니다. ‘딱! 하면 척!’하는 업무 생산성 향상 도구라는 의미를 담아 ‘Snap AI’라는 이름을 붙였어요.
‘Snap AI’를 개발하면서 가장 중요하게 생각한 부분은 무엇인가요?
하정헌 : 웹 개발자의 입장에서 사용자가 정말 쓸만한 서비스라고 여길 수 있도록 하는 데 집중했어요. 특히 직관적인 UI/UX를 만드는 데 많은 공을 들였죠. 사용자분들은 이미 ChatGPT라는 글로벌 서비스를 이용해 본 경험이 있을 테니까요. ChatGPT가 가진 기능은 유지하면서 우리만의 장점과 차별점을 더하기 위해 노력했습니다.
장승범 : 하정헌 님이 말씀하신 것처럼 저 역시 기능 개발을 하면서 ChatGPT를 많이 의식할 수밖에 없었어요. ChatGPT 같은 경우엔 아무래도 네이티브 서비스이다 보니, 기능 구현의 안정성 측면에선 저희가 그들을 앞서기는 힘들거든요.
대신 우리만이 구현할 수 있는 강점에 집중했죠. 이를테면 사내 정보에 기반한 질의 기능, 타 시스템과의 연계, 그리고 보안 리스크 해결 같은 측면에 중점을 뒀습니다.
ChatGPT 등 생성형AI를 업무에 활용할 때 가장 큰 고민거리는 ‘정보 보안’일 텐데요. 이 때문에 업무에 외부 AI 서비스를 활용하지 못하도록 전면 금지하는 기업들도 있고요. ‘Snap AI’는 어떤 방식으로 보안 문제를 해결했나요?
장승범 : 저희는 두 가지 AI 모델을 활용하고 있는데요. 마이크로소프트 애저(Azure)에서 제공하는 OpenAI 모델, 그리고 AWS 베드락(Bedrock)에서 제공하는 클로드(Claude) 모델입니다.
이 두 업체에 공문을 보내 ‘사용자가 질의하는 모든 내용을 내부 학습에 이용하지 않고, 저장도 허용하지 않는다’는 내용을 문서로 확보했습니다. 또 ‘Snap AI’의 모든 서비스는 클라우드상에서 구동되는데, 클라우드는 기본적으로 프라이빗한 네트워크이기 때문에 물리적으로 외부와 연결되지 않아요.
다만 보안 측면에서 저희에게 주어진 과제는 네트워크 보안‘안정성’이었습니다. CJ제일제당이 사용하는 AWS 클라우드와 AI모델이 있는 마이크로소프트 Azure 의 네트워크가 별개로 구성돼 있는데, 그 사이를 연결하는 네트워크의 보안 안정성을 어떻게 확보할 수 있을지 고민이 많았어요.
이 부분은 AWS, Azure 전문가를 모두 한자리에 모아 함께 작업했어요. 두 클라우드 서비스 사이에 프라이빗 링크를 구축해서 정보가 절대 바깥으로 나가지 않도록 구현했죠.
개발 과정에서 어려웠던 점은 없었나요?
권윤지 : 꼭 필요했지만 쉽지 않았던 부분이 있어요. 저희 DX Lab은 스스로를 애자일(Agile)*조직이라고 정의하거든요. ‘빨리 시도해 보고, 빨리 실패해 보자. 그리고 바로바로 수정하자!’ 이런 방식인 거죠.
Snap AI를 첫 시작부터 2주마다 업데이트했어요. 기획, 디자인, 개발, 테스트 과정을 거치는데 그것을 2주 단위로 반복하니까 물리적으로 쉽지 않았죠. 사용자 피드백도 함께 고려해야 하고요. 이제 와 생각해 보면 이런 템포를 유지한 덕분에 서비스 기초를 잘 다질 수 있었기 때문에 후회는 없어요. 그때 당시엔 저희 셋 다 많이 예민했지만요.(웃음)
하정헌 : ‘마크다운’ 기능을 개발하는 과정도 쉽지 않았어요. ‘마크다운’은 텍스트와 이미지를 보다 가독성 있게 보여주기 위해 사용하는 방식인데요. ChatGPT와 같은 생성형 AI 서비스를 이용하다 보면 종종 답변 속에 뜬금없이 별표와 같은 특수문자가 표시되는 경우가 있잖아요? 그게 ‘마크다운’ 처리 과정에서 발생하는 대표적인 오류거든요. 다양한 예외 처리와 사용자 경험을 고려해서 오류를 최소화하려고 노력했습니다. 해결하는 게 쉽지 않았죠.
*애자일(Agile) : 개발과 함께 즉시 피드백을 받아서 유동적으로 소프트웨어를 개발하는 방법
이용자들의 반응은 어떤가요?
권윤지 : 지난 11월 공식 릴리즈된 이후, 월평균 1,500명 정도 사용하고 있습니다. 매일 약 3,000개의 질의를 처리하고 있고요. 아직 배포 초기라는 걸 고려해 보면 대단히 고무적인 결과죠.
특히 희망적인 것은 리텐션(Retention) 수치인데요. 쉽게 말해 재방문율이거든요. 한번 서비스를 이용해 본 분들이 다시 Snap AI에 접속한다는 것은 그만큼 유용했다는 뜻이잖아요. B2B/B2E 서비스 기준, 일반적으로 초기 도입 후 50% 내외 사용자가 잔류하면 ‘온보딩이 잘 되었다’고 평가하는데, Snap AI의 월간 리텐션은 70%를 넘었어요. 주요 사용 조직들만 보면 더 높은 75% 정도고요.
앞으로 생성형 AI가 업무 환경을 어떻게 바꿔놓을 것이라 예상하시나요?
하정헌 : 생성형 AI는 업무 환경에 큰 변화를 가져올 잠재력을 가지고 있다고 생각합니다. 저희도 이 분야를 꾸준히 학습하고 연구하며 발전 방향을 모색하고 있어요. 다만 현재 AI 기술이 만능은 아니에요. 특히 할루시네이션과 같은 치명적인 한계가 존재합니다. 이러한 이유로 중요한 의사결정이나 업무 수행 시 AI에 전적으로 의존하기는 어렵습니다.
‘Snap AI’ 같은 경우 최근 주목받는 ‘RAG’**를 적극적으로 받아들여 이런 문제를 보완했어요. 이를 통해 명확한 근거와 신뢰할 수 있는 문서 및 자료를 바탕으로 답변을 제공하도록 설계했죠. 그 결과 할루시네이션 발생률을 크게 줄일 수 있었습니다.
권윤지 : ‘Snap AI’를 적극적으로 사용하시는 분들을 인터뷰한 적이 있는데요. 정기적인 보고서 작성이나 업무 이메일 작성, 리포트에 필요한 정보 검색 같은 데일리 테스크를 진행할 때 많은 도움이 된다고 하시더라고요.
특히 저희 CJ제일제당은 글로벌 기업이기 때문에 외국인 직원도 많고, 전 세계에 협력사와 고객들이 있잖아요. 한글로 된 보고서를 영어로 변환하거나 부서에서 주고받는 여러 외국어 파일을 이해하는 데 자주 이용하신다고 해요.
장승범 : ‘생성형 AI’ 자체가 권윤지 님이 말씀하신 것처럼 반복적이고 루틴한 업무에 특화돼 있어요. 특히 ‘Snap AI’ 같은 경우 저희 CJ제일제당에 최적화한 서비스이다 보니, 번역 기능에 신경을 많이 썼어요.
번역 AI로는 세계적으로 가장 앞서있는 ‘DeepL’이라는 업체의 API를 활용해 특화된 번역 어시스턴트를 제공하도록 구현했어요. ‘DeepL’ 측에 저희가 따로 글로서리***를 등록해서, 이 글로서리에 기반한 번역 결과를 받도록 했죠. 한마디로 우리 회사만의 용어나 일반적이지 않은 업계 전문 용어들까지 전부 고려한 번역이 가능해요.
또 PPT나 PDF 같은 파일을 ‘Snap AI’에 올리면 30초 만에 번역된 파일로 변환해 줍니다. 이 부분에 이용자들의 반응이 뜨겁더라고요.
권윤지 : 최근에는 데일리 테스트 외에도 각 부서에 특화된 기능 요청이 많아요. 많은 임직원분이 사내 규정이나 매뉴얼에 대한 답변, 실적 분석 및 미래 예측, 데이터 선별 및 문서화, 품질 검증 자동화 등의 업무를 AI가 해결해 주길 바라고 있습니다.
결국 인적 자원이 많이 드는 일은 AI에 맡기고, 더 중요한 일에 집중하여 성과를 높이는 방향으로 업무 환경이 바뀔 것 같습니다. 이것이 실현되도록 저희도 적극 지원할 것이고요.
*할루시네이션(Hallucination) : 데이터 또는 맥락에 근거하지 않은 잘못된 정보나 허위 정보를 생성하는 것
**레그(RAG, 검색증강생성) : 실제 데이터베이스나 문서를 기반으로 검색, 활용한 후 대답을 생성하는 AI
***글로서리(Glossary) : 정보 처리 분야의 데이터 사전(용어집)
앞으로의 서비스 확장 계획도 궁금합니다.
권윤지 : 앞서 말씀드렸던 대로, ‘Snap AI’가 업무에 없어서는 안 될 필수템이 되게 하는 게 목표예요. 그러기 위해서는 사용자들의 의견을 자주 듣고, 기능 면에서 계속 발전을 시켜나가야겠죠.
먼저 사용자 피드백을 바탕으로 UI/UX를 개선하는 걸 1차 과제로 설정했어요. 현재는 단순한 채팅 기반 UI인데, 다른 형식의 유용한 인터페이스를 고민하는 중입니다. 앞서 말씀드린 부서 특화 기능을 더해 사용자들도 만족시키고 몇 가지 좋은 사례를 만들려고 해요.
또 우리 팀이 가지고 있는 원대한 포부가 있는데요. 생성형 AI라는 도구 자체가 아직은 낯선 개념이잖아요. 다들 추상적으로는 이해해도, 구체적으로 어떻게 업무에 접목해야 하는지 어려워하는 경우도 많고요. 다가오는 AI시대에 ‘기술과 함께’ 일하는 방식, 말하자면 저희가 가진 ‘AI 리터러시’를 조직 전체에 전파하고 싶어요. ‘Snap AI’는 그 시작이고요.
하정헌 : 맞습니다. 임직원분들이 출근을 하면 가장 먼저 켜시는 게 사내 인트라넷(CJ World)일 텐데요. 저희 ‘Snap AI’가 사내 인트라넷 바로 다음으로 손이 가게 되는 서비스가 되는 날까지 열심히 노력하겠습니다.
디지털혁신담당 CIO 최희원 님의 메시지
생성형 AI는 기술 혁신의 중심에 있습니다. 자연어 처리, 이미지 생성, 데이터 분석 등을 효과적으로 지원하며 기업의 디지털 전환을 가속하는 데 중요한 역할을 하고 있습니다. 이러한 흐름 속에서 CJ제일제당은 생성형 AI를 비즈니스 핵심 동력 중 하나로 보고 디지털 전환을 추진하고 있습니다.
기업 차원에서 생성형AI 기술을 도입할 때는 데이터 보안과 프라이버시 등을 철저하게 관리하고 지속적인 기술 업데이트와 교육을 통해 임직원들의 올바른 활용을 지원해야 합니다. 이에 디지털혁신담당은 임직원들이 생성형 AI에 쉽게 접근하고 AI를 책임 있게 활용할 수 있도록 AI 기술 인프라와 플랫폼을 구축하여 2024년 11월 제일제당 전용 생성형 AI 서비스인 “Snap AI”를 오픈하였습니다.
앞으로 임직원들은 Snap AI를 활용해 반복적이고 시간 소모적인 업무를 자동화하고, 창의적이고 전략적인 업무에 집중할 수 있게 되며, 의사결정과 실행을 가속할 수 있을 것이라 생각합니다. 디지털혁신담당은 Snap AI를 통해 제일제당의 일하는 방식과 조직문화를 혁신하고 AI 기술력과 노하우를 지속적으로 내재화해 디지털 혁신을 주도해 나갈 것입니다.
