AI로 롱폼 영상을 만들 때 긴 대본의 앞뒤가 맞지 않거나 장면마다 주인공 얼굴이 달라져 고민하셨나요? 제가 직접 만든 야담 롱폼 자동 제작 프로그램은 이야기 기획부터 대본, 음성, 이미지와 최종 영상 합성까지 하나의 흐름으로 연결합니다. 프로그램 소스는 무료로 공개하지만 OpenAI API와 Higgsfield 이미지·영상 생성 비용은 별도입니다.
무엇을 만들고 무엇이 필요한가요?
이 실습에서는 조선시대 야담을 예로 들어 이야기 후보를 고르고, 장면별 대본과 TTS를 만든 뒤 기준 이미지와 영상·삽화를 생성해 롱폼 영상으로 합칩니다. 현재 공개된 프로그램 저장소와 README를 기준으로 준비물과 실행 방법을 확인하세요.
| 준비물 | 역할과 확인 사항 |
|---|---|
| Antigravity | 프로젝트 가져오기와 설치·수정 도움 |
| Node.js와 pnpm | README 기준 Node.js 22.5.0 이상과 pnpm 필요 |
| FFmpeg·FFprobe | 음성 타이밍 분석과 영상 처리에 사용 |
| OpenAI API | 이야기 기획과 대본 생성. API 사용료 별도 |
| Higgsfield 계정 | 이미지·영상 생성. 모델별 크레딧 별도 |
| Pinokio와 Qwen3-TTS | 로컬 음성 생성. README는 미실행 시 글자 수 기반 예상 타이밍을 안내 |
프로그램과 모델, 버튼 구성은 업데이트될 수 있습니다. 아래 설명은 제공된 제작 대본과 2026년 11월 7일 확인한 공개 README를 함께 정리한 것으로, 이용 환경에서 직접 재설치하거나 과금을 시험한 결과는 아닙니다.
전체 제작 흐름
이야기 레퍼런스 또는 전략 인터뷰 → 세 가지 후보 중 선택 → 장편 대본 설계와 작성 → TTS → 시각 설계와 기준팩 → 첫 60초 영상 → 나머지 삽화 → 전체 렌더링 순서입니다. 처음부터 모든 장면을 생성하기보다 기준 이미지를 확인한 뒤 범위를 넓히면 재생성 비용을 관리하기 쉽습니다.
1. 프로그램 설치와 연결
1. Antigravity에서 프로젝트 가져오기
Antigravity 다운로드 페이지에서 운영체제에 맞는 앱을 설치하고 프로젝트용 폴더를 엽니다. 입력창에 공개 저장소 주소와 함께 다음처럼 요청할 수 있습니다.
https://github.com/nam-ai-trend/17_long_auto
이 프로그램의 README를 먼저 확인하고 현재 폴더에서 설치해 줘.
Node.js, pnpm, FFmpeg와 FFprobe가 준비되어 있는지 확인하고
필요한 환경 설정과 실행 방법을 설명해 줘.
비밀 키를 출력하거나 저장소에 올리지 말아 줘.
대본에서는 반복 승인 과정을 줄이기 위해 권한 설정을 Turbo, 계획 검토를 Always Proceed로 바꾸는 장면이 나옵니다. 이 설정은 명령 자동 실행 범위가 넓어질 수 있으므로 신뢰할 수 있는 프로젝트에서 의미를 확인하고 선택하세요. UI 이름은 버전에 따라 다를 수 있습니다.
2. OpenAI와 Higgsfield를 연결합니다
프로젝트 루트의 .env.example을 참고해 .env를 만들고 OpenAI API 키를 LLM_API_KEY에 입력합니다. 공개 README에는 LLM_BASE_URL과 LLM_MODEL 설정도 안내돼 있습니다. 키는 실제 값으로 바꾸되 공개 저장소나 채팅에 노출하지 마세요.
Higgsfield는 공식 연결 안내에서 CLI용 지침을 복사해 에이전트에 전달하고 로그인합니다. 제작 대본은 이 연결을 이용해 이미지와 영상을 생성합니다. 서비스의 연결 방식·지원 모델·크레딧은 바뀔 수 있으니 현재 안내와 계정 잔여량을 확인하세요. TTS를 사용하려면 README의 Pinokio Qwen3-TTS 연결도 준비합니다. 미연결 시 예상 타이밍은 실제 음성 생성 완료를 뜻하지 않습니다.
3. 서버를 실행합니다
의존성 설치 후 프로젝트 터미널에서 실행합니다.
pnpm dev
README의 웹 UI 주소는 http://127.0.0.1:4318입니다. 브라우저에서 화면이 열리는지 확인하세요. 주소가 다르거나 오류가 나면 현재 README와 터미널 메시지를 먼저 확인하고, 민감한 값을 지운 오류 내용을 Antigravity에 전달해 원인과 해결 방법을 요청할 수 있습니다.
2. 장편 이야기를 설계합니다
4. 전략 인터뷰나 레퍼런스로 이야기 후보를 만듭니다
줄거리 구상이 있으면 전략 인터뷰에서 인물과 갈등을 구체화합니다. 아이디어가 없다면 참고할 영상을 살펴보고 이야기의 전개 방식과 흥미 요소를 요약해 입력할 수 있습니다. 대본에서 제시한 분석 요청은 다음과 같습니다.
이 야담 영상의 제목, 인기 이유, 벤치마킹할 전략,
씬별 구성과 줄거리를 분석해 줘.
분석 결과와 제목을 프로그램의 레퍼런스 요약에 입력하고 이야기 후보 세 개 만들기를 선택합니다. 세 후보의 줄거리와 전략을 비교해 하나를 고릅니다. 참고 영상의 대본이나 이미지를 그대로 복제하기보다 이야기 구조를 살펴보고 새 인물과 사건을 창작하세요. 분석한 인기 이유는 가설이므로 확인된 사실처럼 단정하지 않습니다.
5. 장면별 대본과 TTS를 생성합니다
긴 이야기를 한 번에 쓰는 대신 프로그램은 인물과 배경, 사건 순서와 연속성을 먼저 설계하고 장면별로 작성·검토합니다. 대본에서는 30분 분량을 약 12~14개 장면으로 기획하고, 중요한 소품의 소유자처럼 앞 장면의 상태를 이어받도록 설명합니다. 공개 README는 기획과 씬 설계, 순차 집필, 인과·복선·어휘 검토와 낭독 단위 분할을 포함한 7단계 과정을 소개합니다.
완성된 대본에서 인물 이름, 사건의 인과, 복선과 결말을 확인한 뒤 TTS 생성을 선택합니다. 대본의 시연에서는 글 작성에 약 9분이 걸렸지만 실제 시간은 길이와 모델, 환경에 따라 달라집니다. 음성이 만들어지면 발음과 끊기는 부분을 직접 들어보세요.
3. 인물과 장면을 만들고 영상을 완성합니다
6. 시각 설계와 기준팩을 만듭니다
TTS가 완성되면 시각 설계 만들기를 선택하고 기준팩 생성을 실행합니다. 제작 대본의 구성은 주요 인물 최대 4명, 장소 최대 6곳, 소품 최대 5개입니다. 인물의 얼굴·머리·옷차림과 장소·소품의 기준 이미지를 이후 장면에서 참고해 일관성을 높이도록 설계했습니다. 기준팩이 있어도 결과가 항상 같지는 않으므로 장면별로 확인해야 합니다.
7. 첫 60초와 나머지 이미지를 생성합니다
영상 모델을 고른 뒤 60초 영상만 생성으로 도입부를 먼저 만듭니다. 대본에서는 Seedance 계열을 예로 들지만 현재 계정에서 제공하는 모델과 소모 크레딧은 확인이 필요합니다. 인물 외형, 화면 흐름과 음성을 확인한 다음 나머지 장면을 이미지로 생성하세요. 한 장씩 품질을 확인한 뒤 전체 생성으로 넘어가는 방식이 불필요한 재생성을 줄이는 데 도움이 됩니다.
대본에서 소개한 제작 방식은 첫 1분에 움직이는 영상을 사용하고, 이후에는 삽화에 확대·이동 효과를 넣습니다. 음성 문장 경계에 맞춰 화면 전환을 조정하고 Remotion으로 영상·음성·자막을 합칩니다. 실제 완성도와 비용 절감 규모는 설정과 생성 횟수에 따라 달라집니다.
8. 전체 영상을 렌더링하고 확인합니다
이미지와 영상, 음성이 준비되면 전체 영상 렌더링을 선택합니다. 공개 README는 Remotion 합성과 완성본 MP4 다운로드를 안내합니다. 렌더링 후 첫 60초와 중간·마지막 장면을 확인하고, 인물 일관성, 자막 오탈자, 음성과 화면 전환, 이야기의 앞뒤 연결을 살펴보세요. 영상 속 사실과 자료·음악의 사용 권리도 게시 전에 확인합니다.
막힐 때 확인할 점
- 설치나 서버 실행이 안 될 때: Node.js·pnpm·FFmpeg 준비 상태와 현재 README, 터미널 오류를 확인합니다.
- 대본 생성이 안 될 때:
.env의 키 이름과 API 사용 가능 상태를 확인합니다. 키 값은 다른 사람에게 전달하지 않습니다. - 음성이 생성되지 않을 때: Qwen3-TTS 실행과 연결 주소를 확인합니다. 예상 타이밍만 표시되는 경우 실제 음성이 만들어졌는지 따로 확인합니다.
- 인물 얼굴이 달라질 때: 기준팩의 정면·측면 이미지와 장면 결과를 비교하고 문제가 있는 장면부터 다시 생성해 봅니다.
- 생성 비용이 부담될 때: 모델별 크레딧과 남은 잔액을 확인하고 소수의 장면으로 먼저 시험합니다.
원하는 화면이나 생성 방식을 바꾸고 싶다면 Antigravity에 기존 기능과 현재 결과를 설명한 뒤 변경을 요청할 수 있습니다. 수정 전후 결과와 비용은 직접 비교해 확인하세요.
다음 한 걸음
내 환경에서 막힌 부분은 실행 단계와 함께 질문해 주세요. 바꿔 만든 결과도 함께 나눌 수 있습니다.