# 서울 성동구의 한 스튜디오 속 병실로 꾸민 단출한 세트장. 조명은 환히 켜져 있지만 배우는 없다. 자리를 대신 채운 건 덩그러니 앉아 있는 마네킹 하나. 무표정한 마네킹을 찍는 촬영장은 적막하기만 하다. 촬영용 카메라도, 배우의 대사도, 감독의 “큐!” 사인도 없다.

세트장 촬영은 5분도 채 안 걸려 마무리된다. 마네킹 손끝 각도와 눈높이 정도를 기록하면 끝이다. 대신 옆방에 있는 모니터에 한 줄의 프롬프트(명령어)가 입력된다. ‘슬픔이 느껴지는 눈빛, 손끝이 떨리는 여성 주인공 컷, 35㎜ 렌즈 질감.’

몇 초나 지났을까. 가만히 앉아 침묵만 지키던 마네킹 배우는, 모니터 속에서 생생히 살아 숨 쉬는 여배우로 진화한다. 눈빛은 촉촉하고 입술은 미세하게 떨린다. 인공지능(AI)이 마네킹 의상과 포즈를 학습한 후 입력된 감정과 표정을 합성한 결과다.

이제 AI가 메가폰을 잡는 시대다. AI에 입력한 프롬프트 한 줄이 연출의 언어가 되고 그래픽 워크스테이션이 촬영 대신 장면을 완성한다. 감독과 배우, 작가와 스태프가 필수였던 영상 제작 패러다임이 요즘은 AI와 데이터, 알고리즘으로 넘어가는 중이다.

AI 도구만 있으면 블록버스터급 영상도 1인 제작이 가능해졌다. 시간과 비용이 획기적으로 줄어드는 만큼, 콘텐츠 기업은 요즘 너도나도 AI 스터디에 빠져 있다. 글로벌 AI 영상 시장도 급성장 중이다. 그랜드뷰리서치에 따르면, 2023년 37억달러였던 시장 규모는 2030년 422억달러까지 커질 전망이다.

한국 콘텐츠 업계에도 AI 실험이 이어진다. 영화·드라마·애니메이션·광고 등 장르를 불문하고 AI 기술을 내세우는 기업이 늘어나는 중이다. 음악·더빙 같은 기술도 함께 발달하면서 A부터 Z까지 AI가 만들어낸 콘텐츠가 하나둘 등장하고 있다. AI가 주도하는 영상 혁명, 그 최전선을 들여다본다.


AI가 콘텐츠 시장에 일으킨 변화

비용 절감 그 이상…패러다임 시프트

AI가 콘텐츠 업계에 가장 직접적으로 미친 영향은 역시 ‘효율’이다. 비슷한 영상을 만들더라도 들어가는 시간과 비용이 대폭 줄어들게 됐다. 극단적인 예시이긴 하지만, 막대한 인력과 자본이 필요했던 대규모 CG와 특수시각효과 작업이 프롬프트 한 줄로 대체할 수 있는 세상이 됐다.

예를 들어 스튜디오프리윌루전이 만든 AI 영화 ‘중간계’에서는 영화에 등장하는 크리처 18종을 전부 AI로 합성해 만들어냈다. 해외 로케이션 비용이나 적합한 촬영지를 찾기까지 시간과 수고도 줄어든다. tvN 드라마 ‘눈물의 여왕’에서는 한여름에 눈 내리는 장면을 촬영하기 위해 해외로 떠나는 대신 버추얼 프로덕션(가상세트·VP)을 적용, 이질감 없는 설원 풍경을 완성했다. AI 콘텐츠 스타트업 비글루 관계자는 “기존 4주 정도 걸리던 제작 기간이 2주로 줄었고 비용은 90% 아낄 수 있다”고 했다. AI 영상 제작 스튜디오 스튜디오프리윌루전 관계자 역시 “제작 기간 6개월을 6주로, 50명으로 구성하던 제작 팀을 8명으로 줄일 수 있다”고 설명했다.

AI 영향력은 단순 비용 절감, 그 이상이다. AI가 제작 패러다임 자체를 바꾸고 있다는 증언이 이어진다. 기획 → 촬영 → 편집 → 후반작업 등 순차공정이던 기존 제작 단계에 변화가 찾아왔다. 현재는 AI 프리비주얼링(사전 시각화)-가상세트(VP)-자동합성-실시간 보정-생성형 후반이 이제는 순서 상관없이 ‘병렬 구조’로 짜인다. 기획과 동시에 촬영과 편집이 들어가고 실시간으로 후반작업이 이뤄지는 식이다.

기획 단계서부터 변화가 확연하다. AI 덕분에 이제 시나리오보다 콘티가 먼저 완성될 정도다. 과거에는 줄거리를 먼저 구상하고 시나리오를 완성한 뒤, 이를 그림으로 구체화한 콘티를 그렸다. AI 작가 탄생 이후엔 달라졌다. 작가가 키워드만 입력하면 대사·장면 구조·카메라 워크가 자동으로 제안되는 기술을 갖췄다.

스튜디오프리윌루전은 텍스트 프롬프트로 전체 영상 콘셉트를 1분 내 생성, 사전제작(프리프로덕션) 기간을 2개월에서 2주로 단축했다. 한 영화 제작 PD는 “AI 도입 이후에는 기획 회의가 아니라 ‘AI 모델 학습’이 전체 제작 과정 중 첫 번째 단계가 됐다. 콘티 작성 시간도 과거와 비교하면 5분의 1 수준까지 내려온 것 같다”고 설명했다.

감독 연출 고민도 AI가 덜어준다. 머릿속 아이디어를 어떻게 영상화할지 AI로부터 힌트를 얻을 수 있다. 예수 일대기를 다룬 애니메이션 ‘킹 오브 킹스’ 제작사인 모팩스튜디오는 언리얼엔진과 오픈소스 모델을 결합해 AI 프리비주얼링을 구축했다. 감독은 프롬프트만 입력·수정해도, 상상했던 장면을 미리 보거나 쉽게 바꿀 수 있게 됐다. 제작 효율은 5~6배 상승했다.

촬영 현장도 달라졌다. 막대한 시간과 돈을 들여 세트를 짓는 대신 AI 가상 세트를 세운다. 녹색 스크린과 AI 배경 합성만으로 실제와 거의 차이 없는 촬영이 가능해졌다. 순수 AI로만 영상을 제작할 경우 아예 촬영 현장이 없다. 카메라와 배우도 필요 없다. 기존 애니메이션을 만들 때 카메라·배우가 없는 것과 마찬가지다. 다만 실사와 구분이 어려운 수준까지 향상된 품질이 과거와 달라진 점이다. 예를 들어 비글루는 최근 공개한 드라마 속 드론샷과 카 액션 장면을 AI로 대체해냈는데 이질감이 없다는 호평을 받았다.

편집과 후반 보정 작업에도 AI가 효율을 끌어올린다. AI 영상 스타트업 큐브베리는 립싱크 엔진 ‘싱크업(SyncUP)’을 활용해 대사와 캐릭터 입 모양을 자동 매칭한다. 대사의 억양·호흡·감정을 수치화하는 방식으로 목소리를 구현하는데, 실제 배우와 구별이 어려운 수준이다. 덕분에 더빙과 자막 편집 시간을 절반까지 아낄 수 있게 됐다.

음악이나 효과음 제작도 마찬가지다. 스튜디오프리윌루전은 AI 폴리(Foley) 시스템으로 효과음을 자동 생성한다. 과거에는 발소리나 문 여는 소리, 옷이 스치는 소리 같은 효과음을 폴리 아티스트가 직접 녹음해왔다. 콘텐츠와 어울리는 OST도 이제는 AI가 자동으로 작곡해낸다.

AI가 필수 요소로 부상하다 보니 영상 제작에 필요한 인력도 달라졌다. 김지현 중부대 사진영상학과 교수는 “이제 촬영감독 옆에는 AI 슈퍼바이저가, 편집실에는 데이터 큐레이터가 필요해진 세상”이라며 “AI는 시간과 장소 제약을 넘어 창작 스케일을 키우고 감정의 깊이를 확장하는 필수 도구가 됐다”고 말했다.

모팩스튜디오는 각 영역에 세분화된 전문직 대신 ‘신(新)제너럴리스트’를 육성 중이다. AI 도구를 통합 운용하며 전체 서사를 판단하는 인력이다. “AI가 영상 제작 일자리를 줄일 수도 있지만, 그만큼 또 새로운 역할을 만들어내고 있다”는 것이 현장 관계자 공통된 전언이다.

비글루가 공개한 AI 숏드라마 ‘지옥에서 찾아온 나의 구원자’ AI 활용 이미지. 마네킹 촬영에 AI 작업을 더해 섬세한 표정 연기를 이끌어낸다. (비글루 제공)

<이미지를 클릭하시면 크게 보실 수 있습니다>

AI 영상 혁신 이끄는 기업들

AI 전문 스튜디오 ‘우후죽순’

콘텐츠 기업이 AI 영상 혁신을 이끈다. 대기업은 물론, AI 전문 스튜디오가 빠르게 늘어나며 존재감을 드러내는 중이다.

국내에서 가장 공격적으로 AI를 도입한 기업 중 하나는 CJ ENM이다. ‘AI 스크립트’와 ‘시네마틱 AI’를 AI 양대축으로 삼았다. AI 스크립트는 트렌드·시청 데이터·SNS 키워드를 분석해 유망 IP를 자동 발굴하는 기술이다. 언어 모델이 시나리오 구조와 감정선을 먼저 제안해 초안 제작 속도를 끌어올린다. 작가는 인물 설정과 감정 조정에 집중하면 된다. 기획·개발 단계 기간이 60% 줄었다는 것이 내부 평가다.

시네마틱 AI는 이미지·음향·보이스·3D 배경을 한 번에 생성한다. 톤과 콘셉트를 일관되게 유지하는 장점이 있다. 애니메이션·뮤직비디오·드라마 파일럿 제작에서 이미 실전에 투입됐다. 5분 분량 기준, 기존에는 4주 걸리던 3D 애니메이션 제작 공정이 1주로 단축됐다. CJ ENM이 올해 7월 유튜브 채널을 통해 공개한 애니메이션 ‘캣 비기’는 30편을 5개월 만에 완성했다. 팀 인원은 6명에 불과했다.

<이미지를 클릭하시면 크게 보실 수 있습니다>

애니메이션 시장에도 AI 도입이 활발하다. 사진 왼쪽은 CJ ENM이 제작한 100% AI 애니메이션 ‘캣 비기’, 아래는 ‘킹 오브 킹스’를 제작한 모팩스튜디오가 만든 AI 콘셉트. (각 사 제공)

<이미지를 클릭하시면 크게 보실 수 있습니다>

국내 AI 전문 스튜디오 맹활약도 이어진다. 스튜디오프리윌루전은 두바이 국제 AI 영화제, 런던 아시아영화제 등 글로벌 영화제에서 수상과 초청을 받으며 인지도를 넓혀가고 있다. 최근엔 할리우드 현지 미국 지사를 설립하는 등 글로벌 확장 발판을 마련했다.

국내 최초 AI 상업용 장편 영화로 기술 우위를 입증하기도 했다. 강윤성 감독이 메가폰을 잡고 스튜디오프리윌루전이 AI 제작을 총괄한 영화 ‘중간계’는 크리처 18종과 전투 430컷을 AI로 구현했다. 자체 개발한 AI 엔진이 콘티 생성부터 3D 모델링·라이팅·합성·색보정까지 한 파이프라인에서 수행한다.

특수시각효과(VFX) 전문기업 모팩스튜디오는 VFX 1세대 데이터 자산을 AI와 결합하며 업계 이목을 집중시킨 스타트업이다. 애니메이션 ‘킹 오브 킹스’ 감독으로도 유명한 장성호 대표는 과거 ‘화산고’부터 시작해 ‘해운대’ ‘명량’ ‘신과 함께’ 등 작품에서 CG와 VFX를 담당한 전문가다. VFX 업계 최고 베테랑이 AI 도입을 천명한 건 상징적인 장면이다. 최근 알토스벤처스로부터 60억원 투자를 유치하며 관심을 모으기도 했다.

핵심은 ‘리얼타임 사전 시각화 엔진’이다. 콘티를 AI가 자동 생성하고 언리얼엔진으로 실사 수준의 장면을 즉시 시뮬레이션한다. 감독은 텍스트 프롬프트만으로 카메라 워크와 라이팅을 테스트한다. 사전 제작 기간은 3주에서 3일로 줄었다. 제작 비용과 시간을 절감하면서도 완성도를 높였는데, 할리우드 대형 스튜디오조차 아직 본격적으로 구현하지 못한 혁신으로 평가받는다.

손오형 모팩스튜디오 CTO는 “AI 덕분에 본격 제작 전부터 모든 장면을 사전 검증할 수 있어 시간과 예산을 대폭 절감할 수 있다. 제작진 간 소통과 의사결정도 훨씬 명확해진다”며 “자원 한계를 극복하게 되면서 훨씬 더 다양하고 새로운 시도를 해볼 수 있게 됐다”고 설명했다.

기성 감독이 힘을 모은 국내 AI 전문 스튜디오도 있다. 도카이스튜디오는 이재효 감독을 중심으로, 최소 10년 이상 광고·영화 산업에서 활동한 시니어 제작진이 모여 만든 스튜디오다. 이미 여러 영화제에서 존재감을 증명하고 있다. 제1회 대한민국 AI 영화제 내러티브 부문 1위를 비롯해 초기부터 주요 AI 필름 페스티벌에서 연속 수상작을 내며 업계에 이름을 알렸다. 최근 한국콘텐츠진흥원과 함께 국내 최초 100% AI 장편영화 ‘판테온’을 제작 중이며, 도쿄·부산·서울 코엑스 등에서도 작품을 선보인 바 있다. 계열사 나인테일드폭스는 케이팝 데몬 헌터스 등 넷플릭스 오리지널 작품 제작에 참여한 경험을 바탕으로, 국내에서 흔치 않은 ‘AI 기반 풀 프로덕션(기획·촬영·후반)’ 역량을 갖춘 팀으로 평가된다.

스푼랩스가 운영하는 숏드라마 플랫폼 ‘비글루’는 전 공정 AI 숏드라마로 대중화를 이끈다. 최근 100% AI로만 제작한 숏드라마 ‘지옥에서 찾아온 나의 구원자’와 ‘서울: 2053’ 2편을 공개했다. 기획·촬영·편집을 모듈화한 전 공정 AI 시스템이 핵심이다. 배우 대신 마네킹을 촬영하고 표정과 손동작을 합성한다. ‘AI 콘티 제너레이터’가 시나리오를 장면 단위로 분해해 시각 정보를 자동 배치한다. 덕분에 개인 크리에이터도 준전문가급 품질의 시리즈를 제작할 수 있게 됐다. 비글루 관계자는 “부서진 도로 위 오토바이 질주, 중세 판타지 배경, 모래폭풍, 디스토피아 도시, 휴머노이드 등 실제 세트나 특수 촬영 없이도 고난도 장면 연출이 가능해졌다”며 “제작비 한계로 로맨스에 편중됐던 숏드라마 장르를 SF·판타지·액션 등으로 확장할 예정”이라고 말했다.

방송과 커머셜 콘텐츠에서도 AI 특화 기업이 속도를 낸다. ‘큐브베리’는 28년 경력 PD 출신 이진서 대표 리더십과 경험을 앞세웠다. 2024년 지상파 방송 최초 AI 애니메이션인 ‘전설의 고향-구미호’를 제작했고, 생성형 AI를 활용한 다큐멘터리를 만든다. 자체 개발 AI 립싱크 솔루션 ‘싱크업’으로 대사와 입 모양을 자동 매칭해 더빙과 자막 시간을 절반으로 줄였다.

이진서 대표는 “AI 한계를 보완할 수 있는, 현장에서 수십년간 경력을 쌓은 연출 인력을 갖췄다는 게 차별화된 경쟁력”이라고 설명했다.

이 밖에도 광고와 뮤직비디오에서 AI 실시간 합성과 배경 교체를 적극 활용하는 ‘컴파운드컬렉티브’, 모델 섭외와 촬영 없이 AI 룩북 영상을 수시간 내 제작해내는 ‘파프리카’ 등 상업 영상 시장에서도 AI 전문 기업이 빠르게 늘어나

는 중이다. 전이안 컴파운드컬렉티브 대표(감독)는 “현재 네덜란드·싱가포르·태국·말레이시아 등 다양한 국가 프로덕션에 소속돼 일하고 있고, 글로벌 협업도 활발히 진행 중인데, AI 활용 빈도와 그 품질 면에서 한국이 압도적이라는 느낌을 받는다”며 “AI에 앞서 있다는 중국 대형 프로덕션과 에이전시는 AI 관련 프로젝트를 아직 시작도 안 한 상황이다. 한국 신산업 관점에서도 잠재성이 무궁무진하다”고 분위기를 전했다.

스튜디오프리윌루전은 국내 최초 AI 상업 장편영화 ‘중간계’ 제작을 총괄했다. 사진은 AI를 활용해 만든 액션 장면. (스튜디오프리윌루전 제공)

<이미지를 클릭하시면 크게 보실 수 있습니다>

AI 영상 혁신, 전망과 과제

‘불쾌한 골짜기’ 넘어서야

AI 영상 혁신은 점점 가속화되는 중이다. 글로벌 빅테크가 개발한 생성형 AI 영상 모델이 나날이 고도화되고 있기 때문이다. 오픈AI ‘소라’, 구글의 ‘베오 3’, 안트그룹 ‘클링’ 등은 전문 지식이 없는 일반인도 프롬프트 몇 줄만으로 4K 고화질 영상을 뽑아낼 수 있을 정도까지 진화했다. 음악과 음성 모델도 동시에 발전하고 있어, 한 개 플랫폼에서 영상·음악·보이스를 통합 생산하는 시대가 열리는 중이다.

이러한 변화는 요즘 인기 있는 유튜브 채널과 영상을 잠깐만 들여다봐도 알아차릴 수 있다. 100% AI로 만든 영상을 업로드해 엄청난 조회 수를 기록하는 채널이 빠르게 늘어나는 중이다. AI 도구로 스크립트·보이스·편집을 자동화해 하루 수십개 영상을 양산하며 벌어진 일이다. 미국 디지털미디어 분석사 더커런트는 2024년 기준, 가장 빠르게 성장한 유튜브 상위 100개 채널 중 약 10%가 완전 AI 생성 영상 채널이라고 분석했다. 유튜브 시장조사 업체 튜브필터에 따르면, 세계에서 유튜브 구독자가 가장 많이 증가한 채널 50개 중 8개는 AI 생성 영상을 쇼츠로 올린 채널인 것으로 집계되기도 했다.

AI 영상 전망이 밝은 만큼 그 이면에는 아직 해결해야 할 과제도 많다.

먼저 여전히 1% 부족한 품질 문제다. 생성형 AI 초창기부터 문제로 지적받던 손가락 구현 문제를 비롯해, 세밀한 표정·복잡한 물리 움직임에서 여전히 오류가 많다. 한 번에 많은 인물이 등장하는 장면이나 빠른 액션 시퀀스, 러닝타임이 긴 장면 등은 아직 인간 전문가 후반 조정이 요구된다. 얼굴 표정이나 눈빛 등 미세한 감정 변화도 재현이 어렵다. 한 AI 영화 제작 감독은 “AI가 만든 사람 얼굴이나 손동작, 시선 처리 등은 육안으로 볼 때 거의 완벽해 보이지만, 아주 미세한 어색함이 남는다. 실제 사람이 아닌데 사람처럼 보일 때 관객이 느끼는 이질, 흔히 ‘불쾌한 골짜기’로 불리는 구간은 완전한 극복이 쉽지 않다”고 말했다.

일관성 문제도 한계다. AI가 생성하는 캐릭터나 사물이 장면마다, 또는 프레임마다 미묘하게 달라지는 문제다. 같은 인물이 각도에 따라 다른 얼굴로 보이거나, 의상 디테일이 바뀌는 등 영상 전체 통일성을 유지하기 쉽지 않다.

당장 비용 절감에만 집중하게 되면서 터지는 부작용도 많다. 이재효 감독은 “AI를 단순히 ‘싸게 만드는 도구’로 접근하고 , 제작비 0원 같은 극단적인 방식의 마케팅 소재로만 활용한다면 새롭게 열리고 있는 AI 산업의 질과 생태계에도 부정적 영향을 미칠 수 있다”며 “창의성 확장을 돕는 도구로서 산업이 건강하게 성장할 수 있도록 창작자들의 노력이 필요하다”고 말했다.

저작권 문제도 남았다. 현재 생성형 AI 저작권 글로벌 표준은 ‘인간의 창작적 기여가 있는 부분’에만 부여된다. 시나리오·편집·보정·배열 등 인간 개입이 명확히 드러나야 등록이 가능하다. AI 전문 제작사는 기획·입력값·편집 로그·후반 작업 등 전 과정을 기록으로 남겨야 하는 숙제를 안게 됐다.

한 AI 스튜디오 관계자는 “AI 작업은 이력 관리가 핵심이 됐다. 분쟁이 터졌을 경우 어떤 입력값이 어떤 결과를 냈는지 증명해야 한다”며 “프롬프트와 결과물의 이력 관리 시스템을 자체 구축하는 노력이 필요하다”고 강조했다.

[나건웅 기자 na.kunwoong@mk.co.kr]

[본 기사는 매경이코노미 제2337호 (2025.12.03~12.09일자) 기사입니다]

[Copyright (c) 매경AX. All rights reserved. 무단 전재, 재배포 및 AI학습 이용 금지]

[ⓒ 매일경제 & mk.co.kr, 무단 전재, 재배포 및 AI학습 이용 금지]