대규모 언어 모델(LLM)을 기반으로 하는 챗GPT, 클로드(Claude), 바드(Bard)를 비롯한 공용 생성형 AI 챗봇도 충분히 좋지만, 이와 같은 범용 챗봇은 엔터프라이즈 워크플로우에 매끄럽게 통합되지는 않는다. 기업 직원이 별도의 앱을 사용하거나, 회사가 시간과 노력을 들여 애플리케이션 프로그래밍 인터페이스를 통해 자체 애플리케이션에 AI 기능을 추가해야 한다. 또한 챗GPT 및 기타 생성형 AI 챗봇을 사용하기 위해서는 직원이 프롬프트 엔지니어링에 대해서도 배워야 한다.

반면, 임베디드 생성형 AI는 직원이 이 기술을 가장 필요로 하는 곳, 즉 기존 워드 프로세싱 애플리케이션과 스프레드시트, 이메일 클라이언트를 비롯한 기타 엔터프라이즈 생산성 소프트웨어에 새로운 AI 기능을 구현해주며, 이를 위해 회사가 따로 해야 할 일도 없다. 제대로 구현되면 직관적으로, 단절 없이 새로운 AI 기능을 사용할 수 있게 되므로 어려운 생성형 AI 사용법 학습 과정 없이 모든 혜택을 누리게 된다.

ⓒ Getty Images Bank

<이미지를 클릭하시면 크게 보실 수 있습니다>

포레스터는 최근 북미와 영국의 기술 의사 결정자를 대상으로 한 설문조사 결과를 근거로 2025년까지 거의 모든 기업이 쓰기 및 편집을 포함한 커뮤니케이션 지원 용도로 생성형 AI를 사용하게 될 것으로 예측했다. 실제로 설문 응답자의 70%는 쓰기 또는 편집 작업의 대부분 또는 전체에서 이미 생성형 AI를 사용하고 있다고 답했다.

그러나 포레스터에 따르면 챗GPT 같은 독립적인 생성형 AI 툴은 교차 직무 협업을 지원하지 못하며 직원이 업무를 수행하는 부분에서 작동하지도 않는다. 포레스터는 설문조사 보고서에서 “많은 사용 사례에서 생성형 AI는 독립형 앱보다는 임베디드 기능일 때 더 큰 혜택을 제공한다는 의미”라고 설명했다.

IBM 컨설팅의 글로벌 AI 및 분석 부문 리더 매니시 고얄 역시 “아무리 좋은 AI를 가져오더라도 정작 사람들이 워크플로우에서 AI를 사용할 수 없다면 채택되지 않는다"라고 말했다.

임베디드 생성형 AI와 관련하여 현재 가장 큰 화제는 마이크로소프트 365 생산성 제품군 전반에 통합 구축되고 있는 생성형 AI 비서인 마이크로소프트 365 코파일럿이다. 일부 생성형 AI 기능은 팀즈 및 기타 마이크로소프트 365 앱에 구현됐지만 코파일럿 자체는 아직 정식 출시되지 않았고 테스트를 위한 초기 액세스가 허용된 기업은 600개에 불과하다.

마이크로소프트 365 코파일럿의 정식 출시를 손꼽아 기다리고 있는 솔루션 통합업체 인사이트(Insight)의 최고 엔터프라이즈 설계자 겸 CTO 데이비드 맥커디는 “데모를 본 사람이라면 생성형 AI의 통합이 백오피스가 돌아가는 방식을 완전히 바꿔 놓게 될 것임을 알고 있다"라고 말했다.

한편 일부 기업은 오픈AI에 대한 API를 통하거나 라마 2(Llama 2) 같은 LLM을 로컬로 실행해서 자체 앱에 생성형 AI를 직접 추가하고 있다. 예를 들어 인사이트는 API를 통해 마이크로소프트 엑셀에 생성형 AI를 내장했다. 맥커디는 “다만 향후 오피스 365에 통합될 것이기 때문에 이 부분에 대한 개발을 너무 많이 하지는 않고 있다"라고 말했다.

자체 AI 임베드를 만드는 데 필요한 시간이나 인력을 갖추지 못한 기업도 지금 생산성 툴 내에서 생성형 AI 사용을 시작할 수 있다. 많은 업체가 이미 앱에 다양한 생성형 AI 기능을 추가했기 때문이다. 예를 들어 줌, 마이크로소프트 팀즈를 비롯한 여러 온라인 회의 플랫폼은 내장형 또는 애드온 방식으로 AI 기반 요약 기능을 제공한다.

맥커디는 “이 기능이 회의 요약 방식을 완전히 바꾸어 놓았다. 요약 기능이 매우 유용한다는 점은 확실히 말할 수 있다. 큰 이득이 없는 기능도 많지만 요약과 목록 작성만큼은 최고”라고 말했다.

일부 기업에서 워크플로우에 생성형 AI를 어떻게 사용하고 있는지, 어느 부분에서 효과적인지, 그리고 생성형 AI를 안전하게 도입하기 위한 전략은 무엇인지 알아보자.

스트림 파이낸셜 : 이메일, 텍스트 문서, 코드의 생성형 AI

미국 솔트레이크시티에 소재한 핀테크 기업 스트림 파이낸셜 테크놀로지(Stream Financial Technology)의 엔지니어링 책임자인 조완자 조셉은 “우리가 사용하는 스파크(Spark)라는 이메일 클라이언트에는 이메일 요약과 작성을 위한 생성형 AI가 내장돼 있다"라고 말했다.

스트림 파이낸셜 테크놀로지의 엔지니어링 책임자 조완자 조셉 ⓒ Stream Financial Technology

조셉은 “나도, 경영진도 대부분 긍정적이다. 유일하게 부정적으로 보는 부분은 AI가 이해 부족을 가리는 허울이 될 수 있다는 점이다. 즉, 글을 읽다가 말이 안 되는 부분이 있어서 지적하면 AI가 써서 그렇다고 둘러댈 수 있다는 점”이라고 말했다.

스트림 파이낸셜이 사용하는 또 다른 생성형 AI 툴은 마이크로소프트 워드, 구글 문서도구를 비롯한 많은 애플리케이션 내에서 작동하는 그래멀리(Grammarly)다. 그래멀리는 처음에는 단순한 문법 검사기였지만 최근 AI 기반의 텍스트 생성, 문구 수정 및 요약 기능까지 더했다.

조셉은 “그래멀리 기업 구독을 이용하고 있다. 구글 문서 도구 내에서 작동하며, 단락을 쓰거나 요약하도록 지시할 수 있다. 내용을 채워 넣고 요약하는 용도로는 좋지만 기술적인 분야에 대한 심층적인 내용은 다루지 못한다"라고 말했다.

조셉이 지적한 그래멀리 AI의 문제점은 각각의 상호작용이 별개라는 점이다. 챗GPT, 클로드와 같이 대화를 계속 주고받으면서 결과물을 세밀하게 다듬을 수가 없다. 조셉은 “그래멀리 AI에 무엇을 해야 할지 지시할 좋은 방법이 없다"라고 말했다.

조셉은 회사 측이 기밀 데이터 또는 고객 정보에 대해서는 공용 AI를 사용하지 않도록 주의한다고 강조했다.

조셉은 “장기적 관점에서 생성형 AI를 사용해 마케팅 문구와 같은 콘텐츠를 생성하는 데 대해 낙관적이다. A/B 테스트를 위한 다른 문구를 작성하거나 동일한 문구를 다양한 형태로 반복 생성할 수 있다"라고 말했다.

조셉은 생성형 AI가 가장 크게 영향을 미치는 부분은 코드 생성이라면서 “깃허브 코파일럿에 1인당 월 19달러를 내고 있는데, 그 5배라 해도 기꺼이 낼 것이다. 막대한 시간을 절약할 수 있게 해주며 지식도 상당한 수준”이라고 말했다.

조셉은 “코드 생성은 생성형 AI의 가치가 입증된 부분이다. 그 외의 모든 부분은 아직 단언할 수 없고, 갈 길이 멀다"라고 말했다.

NFP : 마케팅 문구, 회의 요약에 생성형 AI 사용

보험 중개업체 NFP는 2년 전부터 텍스트 작성에 AI를 사용해왔다. 이 회사의 영업 지원 부문 SVP인 카일 힐리에 따르면 NFP는 챗GPT가 대중에 공개되기 훨씬 전부터 재스퍼(Jasper) AI를 사용해서 마케팅 문구를 작성했다.

처음 오픈AI의 GPT 3.5 대규모 언어 모델을 기반으로 2021년 2월 출시된 재스퍼는 화이자, 스포츠 일러스트레이티드(Sports Illustrated), 허브스팟(HubSpot), 센티넬원(SentinelOne)을 포함한 10만 곳 이상의 기업 고객을 두고 있다.

현재 재스퍼 AI는 가장 진보된 버전의 챗GPT와 같은 기반 모델인 GPT 4를 사용한다. 여기에 특정 사용 사례에 따라 맞춤화된 마케팅 또는 비즈니스 콘텐츠를 생성하도록 설계된 부가적인 모델과 세부적인 조정 등 비즈니스 친화적인 기능을 추가했다. 또한 회사 자체 브랜드 성격을 학습시키고, 회사 워크플로우 내에서 확장 기능 및 API를 통해 사용할 수 있다.

카일 힐리 ⓒ NFPKyle

힐리는 “보안에 대해 일부 우려가 있었다. 그리고 재스퍼는 폐쇄형 시스템이다. 마케팅 부서에서 일부 카피라이팅 작업에 여전히 재스퍼를 사용하고 있다"라고 말했다.

최근 NFP는 재스퍼에서 영업 활동 지원 플랫폼인 세일즈로프트(Salesloft)에 내장된 생성형 AI 툴로 대부분 전환했다. 세일즈로프트는 지난 봄에 빠른 이메일 작성을 위한 생성형 AI 기능을 추가했다.

힐리는 “CRM 시스템의 안내 및 코칭에도 생성형 AI를 사용하기 시작했다. AI 툴이 모든 부분에 연결되기 시작하면서 이제는 더 많은 프로그램에서 GPT를 사용하고 있다. 마이크로소프트 생태계 전반에 완전히 내장된 형태”라고 말했다.

힐리 본인도 생성형 AI를 적극적으로 사용한다. 힐리는 “2023년 비즈니스 계획 전체를 AI를 사용해 작성했다”면서 “AI의 효과에 대해 내부적인 설득 작업을 진행하던 중에 고위직의 누군가가 AI가 아직 그 수준에 이르지 못했다고 말했다. 그래서 오기로 비즈니스 계획을 AI로 만들어서 제출했는데, 반응이 아주 좋았다. 로봇이 작성한 것으로 믿기지 않는다는 반응이었다"라고 말했다.

힐리는 “사모펀드 분야에서 일하는 영업팀의 고위급 직원도 리드를 작성하고 계약을 체결하는 데 AI를 사용하기 시작했다. 올해 초부터 경영진, 영업부서를 비롯해 많은 직원이 AI를 사용하고 있다. 이들은 ‘AI를 채택해야만 한다’고 말한다"라고 전했다.

NFP는 마이크로소프트 팀즈에서도 생성형 AI를 사용해서 회의 노트를 자동으로 생성한다.

힐리는 “모두가 이해해야 할 중요한 점은 AI가 우리 일을 대체하는 것이 아니라 증폭하고 보강한다는 것이다. 같은 수의 사람으로 더 많은 일을 할 수 있게 해준다"라고 말했다. 힐리는 다음 단계는 세일즈포스의 생성형 AI 기능을 사용해서 원시 데이터를 해설적 데이터로 바꾸는 것이라며 “지금 이 부분을 추진하고 있다. 이를 통해 경영진은 자연스럽게 느껴지는 방식으로 정보를 흡수할 수 있게 된다. 예를 들어 나처럼 숫자에 서툴고 항상 숫자에서 막힌다면 숫자가 아닌 다른 방식으로 정보를 흡수할 수 있게 될 것”이라고 말했다.

생성형 AI 툴을 사용할지 여부를 결정할 때 중요한 것은 학습 데이터의 정확성과 개인정보 보호, 보안, 그리고 사용성이다.

힐리는 “영업 및 마케팅 문구에서는 사유 부분을 다루지 않는다. 그러나 NFP는 인수합병을 많이 한다. 법무팀이 AI를 사용해서 계약서를 더 빠르게 만들거나 미묘한 차이 또는 세부 사항을 찾을 수 있을까? 개인정보 보호와 보안, 클로즈드 소스 모델을 살펴봐야 한다"라고 말했다.

힐리는 지금은 영업 담당자가 새로운 AI 툴을 익히도록 하는 작업을 진행 중이라면서 “간소함과 사용의 용이함이 중요하다. 자연스럽게 느껴지는지, 마음을 먹고 사용법을 배워야 하는지가 관건”이라고 말했다.

힐리는 예를 들어 챗GPT는 사용하기가 쉽지 않았다면서 “챗GPT에 말을 하기 위해서는 거의 정해진 코스에 따라야 한다. 어떤 면에서는 프로그래밍과 상당히 비슷하다. 하지만 NFP는 기술 기업이 아니고 보험을 판매하는 회사”라고 말했다.

직원이 이미 사용하는 툴에 내장된 형태의 생성형 AI는 이러한 사용성 장벽을 극복하는 데 도움이 될 수 있다.

힐리는 “예를 들어 세일즈로프트는 반복적이고 유기적이다. 생성형 AI는 이 툴의 자연스러운 확장이다. 새로운 것을 배울 필요가 없다는 것이 NFP에는 중요한 점이다. 35년째 일하는 보험 담당자도 바로 사용할 수 있고, 25세 직원이라면 시스템 전체를 지극히 자연스럽게 받아들인다"라고 말했다.

톰슨 로이터 : 서신 초안 작성, 직원 질문에 대한 응답에 생성형 AI 사용

뉴스 기업 톰슨 로이터(Thomson Reuters)의 최고 인사 책임자인 매리 앨리스 부이식은 수십년 전부터 제품과 사무실에서 AI를 사용해왔다면서 “이미 존재하는 많은 부분에 AI가 내장돼 있다. 핵심은 증강, 즉 사람들이 더 가치 있는 일을 할 수 있도록 해주는 데 있다"라고 말했다.

부이식은 AI는 사람이 아니라 “작업을 대체한다"라고 말했다.

톰슨 로이터 CPO 메리 앨리스 부이식 ⓒ Thomeson Reters

생성형 AI가 보편화된 지금 톰슨 로이터는 선제적으로 공급업체에 관심을 갖고 이들의 AI 로드맵을 살펴봤다. 부이식은 이미 많은 부분이 발표됐다고 말했다. 예를 들어 세일즈포스와 워크데이(Workday) 모두 생성형 AI 전략을 마련했다. 부이식은 “마이크로소프트 코파일럿과 그 외에도 수많은 툴이 있다"라고 말했다.

부이식은 톰슨 로이터에서 이미 많은 생성형 AI 툴이 사용되고 있다고 말했다. 예를 들어 커뮤니케이션 팀은 AI를 사용해서 문서의 초안을 작성한다.

“실제로 작업의 첫 번째 초안 작성에서 전반적으로 AI 툴을 사용할 여지가 있다. 다만 정확성은 AI에 의지할 수 없고 교육에서도 이 부분을 다뤘다. 처음 초안이 작성된 다음에는 사람이 편집한다. 즉, 사람의 전문성을 적용해서 더 높은 품질의 제품을 제공한다"라고 말했다.

HR 분야에서는 생성형 AI를 사용해 직원 질문에 답하기와 관련한 실험이 진행 중이다. 부이식은 “초기 결과는 매우 만족스럽다. 지금까지 정확도는 95%이며 과거 이러한 질문에 답하느라 빼앗겼던 시간을 돌려줘서 부가가치를 창출하는 일에 투자할 수 있게 해준다"라고 말했다.

생성형 AI 도입을 위한 세 갈래 접근

부이식은 톰슨 로이터는 가능성에서 앞서 나가기 위해 AI 도입을 가속화하기 위한 전사적 이니셔티브를 출범했다고 말했다.

첫 번째 단계는 AI 표준과 윤리의 정립으로, 몇 년 전부터 해오고 있다. 부이식은 “톰슨 로이터는 30년 이상 AI를 사용하고 있다. 생성형 AI 이전에도 이 분야의 리더가 되기 위해 노력했다"라고 말했다.

부이식은 “다음 단계는 인력 교육이다. 이는 반드시 필요한 단계”라고 말했다.

톰슨 로이터는 지난 4월 전세계 모든 직원이 참여할 수 있는 AI 교육의 날을 열었다. 총 2만 7,000명의 직원 중 약 7,000명이 라이브로 이 이벤트에 참석했다. 부이식은 “그 외에도 수천 명이 비동기적으로 이 교육 자료를 활용하고 있다"라고 덧붙였다.

부이식에 따르면 참가자의 대다수는 이미 자신의 업무에 생성형 AI를 적용할 수 있다고 말했다.

부이식은 “이는 로이터 직원 대부분이 앞으로 일하면서 겪게 될 가장 중요한 혁신이다. 우리는 이 부분에서 선두에 서야 한다. 회사 측은 교육과 개발, 업스킬 및 리스킬에 대한 책임이 있다. 그러나 모든 개인도 배우고 발전해야 할 책임이 있다"라고 말했다.

톰슨 로이터 AI 전략의 세 번째 축은 모든 툴을 실험할 수 있는 안전한 장소를 제공하는 것이다. 부이식에 따르면 톰슨 로이터는 생산성 소프트웨어에 내장된 생성형 AI 외에도 오픈AI, 앤트로픽, 구글, 그리고 라마 2와 같은 오픈소스 모델을 포함한 다양한 대규모 언어 모델을 실험하고 있다.

부이식은 “변화의 속도가 매우 빠르다. 톰슨 로이터는 고객 사용 사례를 위해 최선의 기술을 활용하고자 한다"라고 말했다.

마지막으로, 이 회사는 학습과 실험의 문화를 강화하고 있다. 부이식은 “가장 빠르게 배우고 실험하는 팀이 승리하게 될 것”이라고 말했다.

위험을 고려해서 현명하게 선택하기

몇몇 엔터프라이즈 기술 업체는 생성형 AI 기능뿐만 아니라 모델을 학습시키는 방법 또는 사용할 구체적인 모델에 관한 유연함도 고객에 제공한다.

IBM 컨설팅의 고얄은 “IBM은 세일즈포스를 사용한다. IBM의 세일즈포스 관리자는 나와 같은 최종 사용자가 그냥 볼 수 있도록 적절한 모델을 선택하고 구성할 수 있다. 세일즈포스는 임베디드 AI를 선택할 수 있는 옵션도 제공한다"라고 말했다.

고얄은 IBM 컨설턴트가 현재 기업과 협력해서 마이크로소프트 365를 비롯한 과련 기술로 무엇이 가능한지, 그리고 법률 및 보안 측면에서 생성형 AI가 어떤 영향을 미치는지에 대해 생각하도록 돕고 있다고 말했다.

고얄은 “IBM의 왓슨x(Watsonx)에 대한 입장은 확고하다. 고객의 데이터는 고객의 소유라는 것이다. IBM은 모델 학습에 고객 데이터를 절대 사용하지 않는다. 애저, AWS, 구글과 협력하고 있으며 이들 각 기업은 생성형 AI의 이 부분에 있어 예전부터 명확한 입장을 유지하고 있다. IBM의 파트너 및 고객 역시 마찬가지다. 고객이 업로드하거나 서비스에 사용하는 어떠한 데이터도 모델 학습에 사용되지 않는다. 그렇지 않으면 어떤 기업도 AI를 사용하지 않을 것”이라고 말했다.

이 원칙을 위반한 엔터프라이즈 업체의 예로 줌이 있다. 줌은 처음에 회의 녹취록을 AI 학습에 사용할 것이라고 말했다가 격렬한 반발에 직면해 황급히 철회한 바 있다.

그러나 초기 학습 데이터의 출처에 대해서는 업체의 투명성이 부족하다. 고얄도 그 점을 인정하면서 “왓슨x는 학습 데이터에 대한 완전한 데이터 계보를 제공한다. 그러나 모든 업체가 그렇지는 않다. 명확하게 밝히지 않는 경우가 많다"라고 말했다.

또한 몇몇 AI 업체는 저작권이 있는 상품을 허가 없이 AI 학습에 사용했다는 이유로 아티스트 및 작가로부터 피소된 상황이다.

고얄은 “AI에는 항상 위험이 있었다"라고 말했다. 대규모 언어 모델에는 과거의 오래된 위험이 더 증폭된 경우도 있고 새로운 위험도 있다. 고얄은 “기업은 생성형 AI를 사용할 때 가드레일을 설치해야 한다"라고 말했다.

그러나 기업에 결국 중요한 것은 이러한 새로운 기능을 어떻게 사용할 수 있을지를 살펴보는 것이다. 고얄은 “그 방법을 가장 빠르게 파악하는 기업이 승자가 되고 꿈처럼 보이는 일을 현실화할 수 있을 것”이라고 말했다.
editor@itworld.co.kr

Maria Korolov editor@itworld.co.kr
저작권자 한국IDG & ITWorld, 무단 전재 및 재배포 금지