Fun-CineForge 昇腾 NPU 适配

输入: 无声视频片段 + 配音文本 + 参考音频 + 时间信息
        ↓
多模态编码 → Qwen2-0.5B LLM (NPU) → 语音Token生成
        ↓
CosyVoice Flow Matching (NPU) → 梅尔频谱生成
        ↓
HiFT-Causal Vocoder (NPU) → 音频波形输出

pip install torch==2.9.0 torch_npu==2.9.0
pip install transformers>=4.40 soundfile librosa numpy
pip install modelscope  # 模型下载

modelscope download --model FunAudioLLM/Fun-CineForge --local_dir ./Fun-CineForge

# 文本配音
python inference.py --text "欢迎使用Fun-CineForge配音模型" --output output.wav

# 带参考音频的配音
python inference.py \
    --text "这是一段配音文本" \
    --ref-audio reference.wav \
    --output dubbed.wav

# 指定NPU设备
python inference.py --text "测试文本" --device npu:0

from inference_pipeline import FunCineForgePipeline

pipeline = FunCineForgePipeline(device="npu:0")

result = pipeline.dub_file(
    text="配音文本内容",
    ref_audio_path="speaker_reference.wav",
    video_path="silent_video.mp4",
    output_path="dubbed_output.wav",
    scene_clue="室内对话场景",
    speaker_gender="female",
)

# 完整评测 (精度 + 性能 + 稳定性)
python evaluation.py

# 快速评测
python evaluation.py --quick

# 生成评测报告
python evaluation.py --report evaluation_report.json

Fun-CineForge/
├── inference.py              # 主推理脚本 (NPU适配)
├── inference_pipeline.py     # 完整推理流水线
├── evaluation.py             # 精度与性能评测脚本
├── README.md                 # 本文档
├── Qwen2-0.5B-CosyVoice-BlankEN/  # Qwen2 基础模型
├── funcineforge_zh_en/       # Fun-CineForge 模型配置
│   ├── llm/                  # LLM 配置
│   ├── flow/                 # Flow Matching 配置
│   └── vocoder/              # HiFT-Causal 声码器
├── speech_campplus/          # 说话人嵌入模型
└── speech_fsmn_vad/          # 语音活动检测模型

# NPU 亲和性配置
export CPU_AFFINITY_CONF=0-15

# 内存分配器
export PYTORCH_NPU_ALLOC_CONF=expandable_segments:True

# 算子调优
export ASCEND_LAUNCH_BLOCKING=0

@misc{liu2026funcineforgeunifieddatasettoolkit,
    title={FunCineForge: A Unified Dataset Toolkit and Model for
           Zero-Shot Movie Dubbing in Diverse Cinematic Scenes},
    author={Jiaxuan Liu and Yang Xiang and Han Zhao and
            Xiangang Li and Zhenhua Ling},
    year={2026},
    eprint={2601.14777},
    archivePrefix={arXiv},
    primaryClass={cs.CV},
}