과학 쇼츠 채널을 만들면서 제작 도구를 몇 번 갈아탔어요. 새 도구가 눈에 띌 때마다 바로 설치하지 않고, 먼저 ChatGPT와 방향을 이야기한 뒤 클로드에게 실제 작업을 맡겼습니다. 그렇게 영상 한 편에 170~180 크레딧씩 들던 영상 생성을 쓰지 않고도 쇼츠를 만들 수 있게 됐어요.
반복되는 장면
AI 영상 도구는 거의 매주 새로 나와요. 누군가 올린 결과물을 보면 우리 채널에도 써 보고 싶어집니다. 그런데 하나씩 설치하고 익히다 보면 정작 영상은 한 편도 못 만든 채 하루가 지나가죠.
제 과학 쇼츠 채널도 그랬어요. 처음 세 편은 Higgsfield라는 AI 영상 생성 서비스로 장면을 만들었습니다. 한 편에 든 크레딧은 2편이 181.25, 3편이 173.5였어요. 3편은 그중 150.5가 영상 생성 비용이었습니다.
비용만 문제가 아니었어요. 과학 영상은 틀리면 안 되는데, AI가 만든 장면에서 궤적이 엉뚱하게 휘거나 화면 일부가 깨지는 장면이 나와 검수에서 걸렸습니다. 더 싼 방법이 필요했고, 동시에 더 정확한 방법이 필요했어요.
역할 분담
그래서 대화를 두 단계로 나눴어요. 먼저 ChatGPT와 기획하고 과정을 논의합니다. 어떤 후보가 있는지, 무엇을 비교해야 하는지, 어떤 순서로 시험할지를 넓게 이야기하는 단계예요.
방향이 잡히면 클로드에게 넘겨 실제 작업을 시작합니다. 제 클로드 작업 공간은 PC의 프로젝트 폴더와 연결돼 있어서, 공식 문서를 확인하고 도구를 설치해 렌더링하고, 걸린 시간을 재서 폴더에 기록하는 데까지 한 번에 이어져요.
이번에 ChatGPT와 나눈 대화예요. 기술을 여러 개 설치하기 전에 같은 과학 주제의 15초 영상으로 비교해 보자는 제안이 나왔고, 비교할 기술 6개와 목표 스타일을 골랐습니다. PC 그래픽카드 사양을 먼저 확인하라는 말도 있었어요.
식당으로 치면 메뉴 회의와 주방을 나눈 셈이에요. 회의에서는 마음껏 넓게 이야기하고, 주방에서는 정해진 메뉴를 실제로 만들어 맛을 봅니다.
넘겨주는 문장
두 단계 사이에서 가장 중요한 건 넘겨줄 때 쓰는 문장이었어요. 기술 이름만 던지면 클로드는 기술 소개를 해 줍니다. 제가 원하는 건 소개가 아니라 지금 제 과정에 끼워 넣을 수 있는지에 대한 판단이었죠.
그래서 ChatGPT에서 정리한 기술 목록 캡처를 붙이고 이렇게 말했어요. 음성으로 입력해서 말투가 그대로 남아 있습니다.
기존에 이제 힉스필드 MCP를 제외한 지금 방법으로 계속 운영 중인데 좀 퀄리티를 좀 더 높게 하고 싶으니까 목적은 힉스필드 수준은 아니더라도 무료 툴을 최대한 활용해 가지고 의미 전달이 되고 되게 세련되고 모던하게 컨텐츠를 만들 거야. 일단 내가 주는 것 기술들을 다 상세하게 분석해 가지고 분명히 지금 내 이 과정에 접목할 수 있는 게 있거든. 그걸 한번 제안해 줘.이 문장에는 세 가지가 들어 있어요. 지금 어떤 방식으로 운영 중인지, 무엇을 바라는지, 그리고 어디까지는 포기할 수 있는지입니다. 무료 도구로, Higgsfield 수준까지는 아니어도 된다는 선이 있었기 때문에 클로드도 유료 서비스를 후보에 올리지 않았어요.
첫 번째 전환
첫 전환은 비용 부담에서 시작됐어요. 그래서 먼저 ChatGPT와 상의했고, 거기서 정리한 방향을 클로드에게 넘겨 Higgsfield 없이 만들 방법을 찾았습니다. 클로드가 내놓은 대안은 크게 두 가지였어요. 코드로 그리는 2D 도해와 블렌더 같은 3D 프로그램이었죠.
블렌더는 클로드가 작업 환경에 직접 설치해서 시험 장면을 렌더링했어요. 절반 해상도에서 한 프레임에 빠른 엔진은 13.5초, 고품질 엔진은 18.9초가 걸렸습니다. 쇼츠 한 편으로 환산하면 약 34~47시간이었어요. 그래픽카드가 없는 작업 환경이라 렌더 장비로 쓰기는 어렵다고 보고 보류했습니다.
그래서 코드로 그리는 쪽을 골랐어요. Manim은 수식과 코드로 도형과 움직임을 그리는 무료 애니메이션 도구입니다. 궤도나 빛의 경로를 공식대로 그리니, AI 영상에서 나오던 물리 오류가 생길 자리가 없어요.
다음 편은 이 방식으로만 만들었습니다. Higgsfield 크레딧은 0이었고, 음성 합성에 Typecast 659자가 들었어요. 79초짜리 영상에 장면 20개가 들어갔고, 무음 구간과 자막 규칙 검사도 모두 통과했습니다. 렌더는 약 4분, 전체 자동 처리는 약 15분이었어요.
두 번째 전환
이 방식으로 세 편을 만들고 나니 다른 아쉬움이 보였어요. 정확하긴 한데, 화면을 조금 더 세련되고 모던하게 만들고 싶었습니다. 이번에도 ChatGPT와 먼저 이야기했고, 거기서 나온 기술 6개를 앞의 문장과 함께 클로드에게 넘겼어요.
클로드는 6개를 모두 공식 저장소에서 확인한 뒤 가장 유력한 하나만 직접 렌더링했습니다. HyperFrames는 HTML과 CSS로 만든 장면을 브라우저가 한 프레임씩 찍어 MP4로 만드는 무료 도구예요. 5초 분량을 렌더하는 데 52초가 걸렸고, 80초 쇼츠로 환산하면 약 14분이었습니다.
시험 렌더에서는 흐릿하게 떠오르는 글자, 반투명한 카드, 빛 번짐이 정상으로 나왔어요. 지금 쓰는 Manim으로는 표현하기 어려웠던 부분입니다.
시험하면서 확인한 것도 있었어요. 렌더용 브라우저가 외부 스크립트를 불러오지 못해 첫 렌더가 실패했고, 스크립트와 글꼴을 모두 로컬 파일로 바꿔 해결했습니다. 익명 사용 통계가 기본으로 켜져 있어서 껐고, 업데이트가 잦아 버전도 고정했어요.
나머지 다섯 개는 이렇게 정리됐어요.
| 기술 | 판단 | 이유 |
|---|---|---|
| Three.js | 채택 후보 | HyperFrames 안에서 3D 장면에 쓸 수 있음, 렌더 시간 미측정 |
| ComfyUI | 보류 | 그래픽카드가 필요해 PC 사양 확인 전 |
| Remotion | 제외 | HyperFrames와 하는 일이 거의 같음 |
| Motion Canvas | 제외 | Manim과 역할이 겹치고 자동 렌더가 약함 |
| OpenMontage | 아이디어만 | 지금 과정이 이미 같은 역할을 하고 있음 |
결론은 Manim을 그대로 두고 HyperFrames를 얹는 조합이었어요. 정확해야 하는 원리 장면은 Manim이 그리고, 제목 카드와 자막, 장면 전환은 HyperFrames가 맡습니다. 비용은 여전히 0이에요.
이미 만든 한 편을 새 조합으로 다시 만들어 기존 버전과 나란히 놓아 봤어요. 장면 자체는 같고, 질문을 던지는 말풍선과 강조 카드, 단어가 돋보이는 자막이 더해졌습니다.
기록과 이어가기
이 과정이 한 번으로 끝나지 않고 이어지는 건 기록 덕분이에요. 클로드는 작업이 끝날 때마다 분석 문서, 제작 규칙, 발행 기록을 프로젝트 폴더에 남깁니다.
이번에도 기술 6개 분석은 분석 문서로, 바뀐 제작 순서는 형식 규칙 문서로 남았어요. 다음 대화는 이 파일을 읽는 데서 시작합니다. ChatGPT와 새 아이디어를 이야기할 때도 이 기록을 보면 지금 어디까지 왔는지 바로 알 수 있어요.
정리하면 지금 굳어진 순서는 이래요. ChatGPT와 넓게 이야기하고, 목적과 포기할 선을 적어 클로드에게 넘기고, 후보 하나를 실제로 만들어 재 보고, 결과를 파일로 남깁니다. 도구는 계속 바뀌어도 이 순서는 그대로였어요.
다음 실험
다음 실험은 새 조합을 실제 제작에 적용하는 일이에요. 나란히 만든 비교본으로 채택 여부를 판단하고 있고, 3D 장면을 넣었을 때의 렌더 시간도 이어서 재 볼 계획입니다. 적용 결과가 나오면 이 글에 덧붙이려고 해요.
한 AI로 다 하면 되지 않느냐고 물을 수도 있겠죠. 그래도 됩니다. 제가 나눈 건 쓰다 보니 생긴 습관에 가까워요. 다만 나눠 보니 좋은 점이 하나 있었어요. 넓히는 대화와 만드는 대화가 섞이지 않아서, 클로드에게 넘길 때 무엇을 결정해야 하는지가 분명해졌습니다.
환경 차이도 다음에 확인할 부분이에요. 블렌더와 HyperFrames의 렌더 시간은 그래픽카드가 없는 클라우드 작업 환경에서 잰 값입니다. 그래픽카드가 있는 PC에서 다시 재면 보류했던 블렌더도 다시 후보가 될 수 있어요.
다음에 써 보고 싶은 도구 목록이 생기면, 설치하기 전에 한 문단부터 적어 보면 좋겠어요. 지금 어떤 방식으로 만드는지, 무엇을 바라는지, 어디까지는 포기할 수 있는지. 그 문단과 함께 후보 하나만 같은 과제로 만들어 보고, 비용과 시간을 표로 남기는 거예요.
관련 기록으로 클로드로 인스타 카드뉴스 만들기: 첫 장을 세 번 고친 이유와 클로드 Cowork, 새 세션에서도 이어서 작업한 방법: ‘세션종료’와 ‘이어서 작업하자’도 함께 읽을 수 있어요.
이번에 시험한 도구의 공식 정보는 HyperFrames 저장소와 Manim Community 저장소에서 확인할 수 있습니다.