한류나우 66호 [Focus 2] AI가 아니라 AI로 만드는 이야기

2025. 6. 2.

AI가 아니라 AI로 만드는 이야기

러닝타임 16분의 AI 영화 <마테오>의 제작 과정에는 카메라도 없었고, 배우도 없었으며, 현장도 없었다. 필요한 건 오직 노트북과 키보드, 그리고 수백 번 수정된 프롬프트뿐. 그 안에서 영화가 만들어지기 시작했다. 이전까지 우리는 작가 지망생이었고, 웹소설 편집자였고, 현장의 보조 감독이었다. 늘 콘텐츠 산업의 바깥에서 ‘언젠가’ 내 작품을 만들 기회를 꿈꾸던 예비 창작자들이었다. AI는 우리에게 그 '언젠가'를 '지금'으로 바꿔준 도구다. 시행착오도 많았고, 완벽하진 않았지만 과감했고, 무엇보다도 우리만의 이야기를 담아낸 영화가 완성됐다. 100% AI로 만든 <마테오> 제작 경험은 우리에게 확신을 심어줬다. 새로운 방식으로 이야기를 만든다면, 우리 또한 창작의 주체가 될 수 있지 않을까?

마테오 AI 스튜디오의 시작
마테오 AI 스튜디오(문신우, 양익준, 정주원)는 2024년 문화체육관광부와 한국콘텐츠진흥원이 주최하고 MBC C&I가 주관한 ‘AI/XR 콘텐츠 활용 멀티플랫폼 드라마 기획개발 랩’ 지원사업에서 처음 만나 결성됐다. 그 전에는 각자 웹소설 편집자, 영화 촬영 보조, 아동콘텐츠 기획자로 활동하며 늘 창작의 욕구를 느껴왔다. 각자 다른 분야에서 활동하던 우리는 AI 기술을 통해 고가의 장비와 많은 인력, 넓은 공간이 없이도 상상한 이야기를 현실로 만들 수 있다는 가능성을 발견했다.

<마테오> 포스터

<목격자> 포스터

<마테오>를 제작할 2024년 6월 무렵에는 기존 AI 콘텐츠 중 5분을 넘는 이야기가 드물었다. 우리는 16분 분량에 내러티브를 담아내기 위해 노력했고, 이 작품이 ‘대한민국 AI 국제 영화제’에서 대상을 수상하며 주목받았다. 해당 영화제에는 전 세계 104개국에서 총 2,067편의 작품이 출품됐는데, 그 중에 <마테오>가 대상을 수상한 것은 지금 생각해도 꿈같은 일이다. 또 같은 해인 2024년에는 팀의 양익준 감독이 제작한 개인작 <목격자>(2024, 5분)가 ‘부산국제인공지능영화제’에서 대상을 수상하며 팀 전체에 다시 한번 큰 관심이 쏟아졌다.

<마테오>는 가난한 노동자 아버지 밑에서 자란 주인공이 ‘돈이 곧 힘이다’라는 생각으로, 마약 카르텔과 손을 잡고 거대한 자본을 움직이는 아보카도 시장에 뛰어드는 이야기다. 마테오의 유년기부터 중장년까지를 담아내며, 인생에서 진정으로 추구해야 할 가치가 무엇인지에 대해 질문을 던지는 휴머니즘 드라마다. 양익준 감독의 <목격자>는 의문의 살인사건의 유일한 목격자가 인공지능이라는 설정으로, 자아를 갖게되는 인공지능을 소재로 다룬다. 5분이라는 짧은 시간 안에 밀도 높은 구성과 감정 연출이 필요했는데, 당시 AI 영상 생성의 한계를 넘기 위해 여러 방식으로 다양한 실험과 문제 해결을 시도했다.

<마테오> 작품 스틸사진

AI 영화 <마테오>의 제작 과정
AI 영화의 제작 과정은 기존의 영화와 비슷하면서도 차이가 있다. 사전 기획(프리 프로덕션), 제작(프로덕션), 후반 제작(포스트 프로덕션)의 단계를 거치지만, 제작과 후반 작업이 하나로 합쳐지는 개념으로 이해하면 좋을 것이다. 기획을 통해 아이템을 선정하고 나면, 시나리오를 쓰고, 콘티와 인물, 배경 등 컨셉 이미지들을 만든다. 이후 촬영 대신 이미지 생성 프로그램을 통해 장면들을 만들고, 그 이미지를 영상으로 만들어 대사를 입히고 후반 사운드를 입힌다. 이 과정에서 만든 영상을 바로 편집하며 대사의 립싱크가 잘 맞는지, 스토리의 흐름이 잘 맞는지 점검하고, 안맞는 부분은 이미지 생성 단계로 돌아가 다시 작업한다. 기존 영화의 개념으로 보면, 후반 편집을 촬영과 동시에 하는 셈이다.

우리는 팀이 결성된 다음 날부터 바로 기획 회의에 돌입했다. 각자의 취향과 해보고 싶었던 이야기, 그리고 AI로 제작하기에 적합한 이야기에 대해 논의하며 방향성을 잡았다. 기획에는 약 한 달 정도의 시간을 들였는데, 기획, 구성, 시나리오를 역할 분담 없이, 공동창작의 형태로 진행했다. 기획 단계에서는 ‘챗지피티(ChatGPT)’와 ‘클로드(Claude)’라는 대화형 AI 툴을 사용했는데, AI가 제공해준 이야기를 그대로 사용하기에는 부족함이 많았다. 결국 기획과 시나리오 단계에서는 자료 조사를 하는 부분에서만 AI를 활용하고, 스토리는 직접 쓰는 방향으로 진행했다.

기획 과정이 어느 정도 완료된 후, 콘티를 제작했다. ‘카탈리스트(Katalist)’라는 프로그램을 통해 간단한 흐름을 콘티로 구현했고, 이를 토대로 본격 컷 이미지를 제작했다. AI 창작 과정에서 특히나 좋은 점이 있는데, 바로 기획 단계에서 이미지를 생성하며 상상력을 자극하고 구체화할 수 있다는 점이다. 우리는 이야기의 주인공이 어떻게 생겼을지 외형과 배경, 작품의 분위기 등을 사전에 구체화할 수 있었고, 부족한 부분은 다시 기획 단계를 보완하며 상상을 펼치고 서로의 생각을 동기화할 수 있었다.

제작 단계에서는 이미지, 영상, 음원 생성 등 전 과정에 약 15개 정도의 다양한 생성형 AI 도구를 테스트하고 활용했다. 가장 첫 단계인 이미지 생성에는 ‘미드저니(Midjourney)’라는 프로그램을 100% 활용했는데, 현재까지도 가장 애용하는 툴이다. 이미지를 높은 수준으로 만들어주는 다양한 툴이 많이 있지만, 우리 팀이 추구하는 미감에 가장 가깝게 만들 수 있는 툴이다. 이미지를 만든 후에는 그 이미지를 영상으로 만드는데, 영상 생성에는 ‘클링(Kling)’이라는 프로그램을 대부분 사용했고, 폭발이나 화염 같은 특수 장면들은 ‘런웨이(Runway)’, 인서트 장면들은 ‘루마(Dream machine)’를 사용했다.

<마테오> 제작 과정

영상을 만들면서는 앞서 말한대로 사운드를 함께 제작했다. 배경 음악은 ‘Suno(수노)’라는 음악 생성 AI 툴을 사용했는데, 처음 기획 단계에서 짧은 내러티브에서 효과적으로 인물의 감정을 전달할 수 있는 뮤지컬 형식을 시도하면서 메인 장면의 스토리를 담은 가사를 쓰고, 그걸 음악으로 만들어 배치했다.

배경음악 외에도 인물의 대사를 AI로 생성했다. 대사는 대부분 팀의 문신우 감독이 직접 녹음한 후, 인물의 캐릭터에 맞는 목소리로 변환했다. 변환은 ‘일레븐랩스(Eleven-Labs)’라는 사운드 생성 AI 도구를 활용했는데, 한 명의 목소리로 6명의 다양한 인물의 목소리를 연출할 수 있었다. 극중 나무의 대사 장면은 ‘텍스트 투 보이스(T2V)’ 기능을 사용해 구현했다. 이렇게 만들어진 대사들은 생성된 영상에 넣어 립싱크를 맞춘 영상으로 다시 생성하고, 최종 편집을 통해 완성된다. 효과음은 당시 기술적 한계로 AI를 사용하지 않았는데, 현재는 효과음 또한 AI로 자연스럽게 생성이 가능하다.

<마테오>의 전체 제작 기간은 기획에 한 달, 제작과 후반에 약 한 달 반이 소요됐다. 메인 작업 기간 내내 평일, 주말 구분없이 하루에 15시간 정도씩 작업을 했지만, 매일 완성된 편집본을 바로 확인할 수 있어 능률도 높았고 만족감도 큰 시간이었다.

제작비는 주로 구독료와 인건비, 후반 편집 등에 사용했는데, 여러 프로그램을 구독해 보며 각 장면을 구현하기에 적합한 툴을 찾기 위해 많은 비용과 시간을 할애했다. AI 콘텐츠는 큰 자본 없이도 만들 수 있다는 점이 장점이긴 하지만, 추구하는 완성도와 포맷에 따라 제작 기간과 비용, 인력 구조가 달라질 수 있다. 따라서 AI 창작을 단순히 비용의 절감, 효율성 향상 측면에서만 바라볼 것이 아니라, 기술의 발전을 통해 현실적인 제약으로 구현되지 못했던 상상과 기획을 작품화할 수 있게 되었다는 점에 집중하고, 다양한 형태의 창작 구조가 마련되는 가능성에 주목해야 할 필요가 있다.

<목격자> 작품 스틸사진

마테오 AI 스튜디오가 AI 영화를 만들 때 가장 중요하게 생각하는 것은 기획이다. 기획 단계에서는 AI로 만들기에 적합한 이야기인지를 먼저 판단하는데, 기존의 실사 영화 방식으로 제작해도 차별점이 없을 것 같은 이야기는 AI 콘텐츠로 만드는 것을 지양하고, 현재 기술이 만들기 어려운 이야기도 거르는 편이다. 현재의 기술로 가장 재미있게 할 수 있는 이야기를 찾는데 집중해서 만들고자 한다.

<마테오>를 기획했을 때만 해도 AI 콘텐츠 장르는 중세 유럽의 기사나 마녀, 괴물이 등장하는 고전 판타지나 호러물이 많았다. 하지만 <마테오>는 AI 장르로는 드물게 휴머니즘을 담고자 했다. 실사 장르와 비교해 AI 영화는 시청자의 몰입을 끌어내기가 쉽지 않다. 진짜 사람이 아닌 인물이 사람을 흉내내는 것에서 ‘불쾌한 골짜기(Uncanny Valley)’가 생기고, 조금만 물리 법칙에 어긋나거나 형상이 깨져도 바로 몰입을 방해받기 때문이다. 그래서 몰입을 깨지 않는 스토리 구성과 연출로 매끄럽게 연결하고, 자연스러운 시각 스타일과 AI 배우의 감정 연기 등을 구현하는 것이 중요하다.

제작 과정에서 특히 신경썼던 부분은 이 불쾌한 골짜기를 최소화할 수 있는 컷들을 구성하는 일이었고, 몰입을 깨지 않기 위해 전체적으로 영상의 톤 앤 매너와 질감을 유지하려고 노력했다. 이 모든 것을 후반에서 보정해도 되지만, 보정 없이 생성 단계에서부터 최대한 AI로만 만드는 콘텐츠에 목표를 두고 제작했기 때문에 더 많은 노력과 시도들이 필요했다. 왜곡되지 않은 이미지와 AI 배우의 자연스러운 연기를 위해 많은 시간을 들여 적합한 영상을 뽑을 수 있는 프롬프트를 연구했고, 결과적으로 최초의 휴머니즘 장르의 AI 영화를 만들 수 있었다.

AI 창작자가 일하는 방법
<마테오>를 만들던 시기는 무더운 한여름이었다. 실제로 촬영을 통해 이 이야기를 제작했다면, 매우 고된 작업이 되었을 거다. 물론 16분 분량에 맞지 않는 해외 로케이션, 폭발 등의 특수효과, 등장인물의 수 등의 문제로 제작 단계까지 가지도 못했겠지만 말이다.

주인공 마테오만 하더라도 어린 시절부터 노년까지 총 5명의 인물 섭외가 필요하고, 광활한 아보카도 농장과 공장, 대저택을 다 태우고 폭발시키고, 몇 번의 계절을 지나는 등, 실제로 촬영하기엔 제약이 많은 콘텐츠지만 AI이기에 상상을 제한할 필요 없이 마음껏 펼칠 수 있었다. 또한 영어가 되는 AI 배우를 바로 생성하여 제작할 수 있었던 점은 글로벌 마켓과 컨퍼런스 등에서도 우리 작품을 많은 사람들에게 선보일 수 있는 장점 중에 하나였다.

그 외에는 사실상 모든 작업 단계가 도전의 연속이었다. 그때 당시의 기술 수준으로 16분 길이의 영화를 만든다는 것부터가 큰 도전이었다. 초반에는 프로그램 발전이 우리가 의도한 수준만큼 구현되지 않아서 복잡한 프로그램을 연구해가며 쓰기도 했다. 며칠을 연구했지만 결과물이 마음에 들지 않았고, 끝내 해결하지 못해 여러 방면으로 방법을 찾던 찰나, 한 회사에서 해당 기능을 서비스하기 시작하면서 몇 날 며칠을 연구한 것이 클릭 한 번으로 성공하는 일도 있었다. 프롬프트 또한 각 프로그램별로 잘 반응하는 것과 그렇지 않은 것들이 있어서 프로그램에 맞춰 연구를 해가며 수많은 크레딧(비용)을 소모했어야 했는데, 이렇게 시간과 돈을 쏟아 부으며 시행착오를 통해 얻은 것들은 결과적으로 모두 우리의 노하우로 남았다.

AI 콘텐츠를 만들면서 많은 사람들이 ‘AI 콘텐츠가 상업화 될 수 있는지’, ‘감정을 불러일으킬 수 있을지’를 질문한다. 우리는 그런 콘텐츠를 만들기 위해 꾸준히 노력하고 있다. 하지만 한 가지 분명한 점은, 이야기의 감정을 설계하고 서사를 통제하는 것은 결국 사람의 몫이라는 것이다. AI는 프롬프트를 통해 이미지와 영상을 만들어 주지만, AI는 도구일 뿐, 그 컷들이 어떤 감정을 어떻게 표현할지 결정하고 감동을 만드는 건 결국 창작자다. 그래서 우리는 한 컷, 한 씬, 한 시퀀스를 만들기 위해서 수백 번씩 프롬프트를 수정하고, 원하는 장면을 얻기 위해 노력한다.

우리 팀이 늘 하는 유행어 같은 말이 있다. AI 콘텐츠는 ‘AI가 만드는 것이 아니라, AI로 만드는 것이다.’ 이 모든 과정이 AI가 뚝딱 만들어주는 것이 아니라 창작자가 한땀 한땀 만들어 엮어가는 것이다.

영화제 수상 이후에는 다양한 분야에서 협업 제안과 강연 요청이 이어졌다. MBC C&I ‘AI 콘텐츠 랩’의 대표 감독으로 활동하며 미드저니, 런웨이, 일레븐랩스 등 글로벌 AI 기업과의 밋업(Meet-up) 행사를 함께 주최하는 등 활동의 폭이 넓어졌고, AI 기술을 활용한 광고 영상 제작, AI 영화 제작과 관련된 온/오프라인 교육, 신규 IP 개발 등을 통해 수익 구조도 만들어가고 있다.

또한, <마테오>, <목격자> 이외 AI 콘텐츠 랩의 작품들이 OTT 플랫폼인 웨이브(Wavve)에 ‘더 프롬프트: 넥스트 드라마’라는 콘텐츠로 정식 서비스 됐는데, 이는 OTT 최초의 AI 콘텐츠 사례로, 앞으로의 산업 저변을 확대하는데 조금이나마 긍정적인 영향을 미칠 수 있기를 바란다.

웨이브 AI 영화 ‘더 프롬프트: 넥스트 드라마’

(*모든 이미지는 마테오 AI 스튜디오 제공)

기술이 전부는 아니다, AI 창작의 본질
강의와 워크숍을 진행하며 ‘이제 AI 기술은 누구나 사용할 수 있을텐데, 과연 경쟁력이 있을까?’라는 질문을 받곤 한다. 이 부분에 대해서는 기술이 보편화될수록 나만의 이야기를 나만의 감성으로 전달하고, 보는 이의 감정을 건드릴 수 있는 기획과 스토리텔링 능력이 경쟁력이 될 것이라는 확신이 있다. ‘AI로 만든 영상은 감동이 없다’거나, ‘모두 같은 스타일로 보인다’는 반응도 많았는데, 감사하게도 <마테오>와 <목격자>를 본 이후에는 AI 영상에도 내러티브와 감정을 담을 수 있는 가능성을 발견했다는 분들도 많았고, 직접 실습하면서 창작자들이 AI를 대하는 시선이 점차 바뀌는 것도 느낄 수 있었다.

우리는 강연에서 단순한 툴 사용법을 넘어, 생각과 감정을 언어로 표현하고 이야기로 연출하는 부분을 강조한다. 자본과 기술력만으로 영화를 만드는 시대는 끝났다. 이제는 상상력이 더 중요한 시기다. 기술보다는 스토리텔링이 훨씬 중요해졌다. 덧붙여 기본기와 상상력, 예민한 감수성이 중요해지는 시대가 왔다. 생성형 AI 프로그램은 누구나 쓸 수 있는 도구가 됐고, AI는 같은 장면을 의도했더라도 어떤 프롬프트를 입력하느냐에 따라 결과물이 달라진다는 점에서 창작자의 개성과 연출 의도, 하고자 하는 이야기가 더 중요해진다고 생각한다. 결국 근본은 스토리텔링에 있다.

현재 마테오 AI 스튜디오에서 만들고 있는 차기작 <라파엘>(가제)은 AI 100%로 제작하는 70분 길이의 장편 영화다. AI 콘텐츠의 가장 큰 장점은 소규모 창작자들도 적은 비용으로 자신만의 이야기를 세상에 선보일 수 있다는 점이라고 생각한다. 아직 기술적 한계가 존재하기에 풀어나가야 할 과제가 많지만, 오히려 이런 한계는 새로운 이야기를 발견할 가능성을 높여준다. 이번 작품은 이러한 기술적 한계를 이야기 안에 녹여 '감정을 감추는 안드로이드'라는 캐릭터로 연기의 부자연스러움을 세계관으로 포함했다. 이런 식으로 AI 콘텐츠를 더 연구하며 AI 영상만의 특성, 문법을 잘 만들어 나간다면, AI 영화가 하나의 장르로서 자리매김할 수 있을 거라 기대한다.

정책 차원에서 소규모 창작자들을 지원하는 프로그램이 앞으로 더 많이 확대되기를 바란다. <마테오> 또한 그런 지원이 있었기에 탄생할 수 있었다. 현재는 큰 규모의 기업이 도전할 수 있는 사업이 많은데, 초기 창작자들이 안정적으로 시장에 정착해 다양한 사업화 사례를 만들 수 있는 기회가 많아지길 희망한다. AI 콘텐츠 창작 지원 등 다양한 형태의 사업이 많아진다면 더 많은 가능성과 사례들이 나올 것이라 기대한다.

마지막으로, AI는 결코 창작자를 위협하는 존재가 아니라는 점을 강조하고 싶다. 우리가 해야 할 질문은 ‘AI가 창작자를 대체할까?’가 아니라 ‘어떻게 하면 창작자가 AI를 자신만의 이야기 창작에 활용할 수 있을까?’여야 한다. 마테오 AI 스튜디오는 앞으로도 이 질문을 품고 계속 도전할 계획이다. 기술이 진화해도, 감동을 만드는 건 결국 사람이라는 믿음을 가지고 말이다.