HuggingFace镜像/FlashVSR-v1.1
模型介绍文件和版本分析
下载使用量0

⚡ FlashVSR v1.1 权重包（Tiny Long）

本目录用于存放 FlashVSR v1.1 推理所需的权重文件，主要面向：

  • 本仓库的 Web 应用 FlashVSR-app（backend/ + frontend/）；
  • 在 ModelScope / 其它模型仓库 上发布时，作为可直接下载的权重包。

注意：本目录不包含任何训练代码，仅包含推理所需权重与简要说明。
算法与实现来自官方开源项目 OpenImagingLab/FlashVSR。

1. 文件列表与含义

放置在 backend/models/FlashVSR-v1.1/ 下时，通常包含以下文件：

  • diffusion_pytorch_model_streaming_dmd.safetensors
    FlashVSR 主体扩散模型（流式 one-step VSR）。

  • LQ_proj_in.ckpt
    LQ（低清）特征投影层权重，用于将输入视频特征映射到 WanVideo 语义空间。

  • TCDecoder.ckpt
    Tiny Conditional Decoder / Temporal Consistency Decoder 的权重，用于加速重建并增强时序一致性。

  • Wan2.1_VAE.pth
    Wan 视频 VAE 相关权重（当前 Tiny Long 会复用部分模块，用于编码 / 解码空间）。

  • posi_prompt.pth
    位置 prompt tensor，用于初始化 cross-attention 的 KV 缓存（Cross KV），保证推理稳定。

  • README.md
    本说明文件，可直接作为 ModelScope 或其它模型平台的介绍文档。

权重文件总体积约数 GB 级，不建议直接提交到 Git 仓库。推荐统一放在外部模型仓库（如 ModelScope）或对象存储中，然后在部署时同步到本目录。

2. 在 FlashVSR-app 中使用

FlashVSR-app 默认假设权重位于：

  • 后端工作目录：backend/
  • 权重目录：backend/models/FlashVSR-v1.1

对应配置（backend/app/config.py）为：

  • MODEL_ROOT = BACKEND_ROOT / "models"
  • FLASHVSR_MODEL_PATH = MODEL_ROOT / "FlashVSR-v1.1"
  • FLASHVSR_PROMPT_TENSOR_PATH = FLASHVSR_MODEL_PATH / "posi_prompt.pth"

2.1 本地部署步骤示例

  1. 在应用仓库根目录创建目录：

    mkdir -p backend/models/FlashVSR-v1.1

  2. 将上述权重文件放入该目录（例如从 ModelScope 下载后解压到此处）：

    ls backend/models/FlashVSR-v1.1
# diffusion_pytorch_model_streaming_dmd.safetensors
# LQ_proj_in.ckpt
# TCDecoder.ckpt
# Wan2.1_VAE.pth
# posi_prompt.pth
# README.md

  3. 如需自定义路径，可以在 backend/.env 中覆盖：

    # 例如放在 /data/flashvsr/FlashVSR-v1.1 下
FLASHVSR_MODEL_PATH="/data/flashvsr/FlashVSR-v1.1"
FLASHVSR_PROMPT_TENSOR_PATH="/data/flashvsr/FlashVSR-v1.1/posi_prompt.pth"

  4. 启动后端时，FlashVSRService.inspect_assets() 会检查上述文件是否存在，并在 /api/system/status 中展示 Tiny Long 变体的就绪状态。

3. 在 ModelScope 上发布与使用（建议说明）

当你把本目录上传到 ModelScope 作为一个模型条目（例如 video-to-video 管线），可以在模型卡片中：

  • 说明本模型与官方 FlashVSR 的关系：
    • 来源：OpenImagingLab/FlashVSR 官方仓库
    • 版本：v1.1，Tiny Long 变体的推理权重
  • 明确目标用途：
    • 面向视频超分辨率（VSR），典型为 2× 或 4× 放大；
    • 推荐搭配 FlashVSR-app 或自定义推理脚本使用。

在 FlashVSR-app 中使用时，推荐流程为：

  1. 在 ModelScope UI 或 CLI 中下载本模型到某个目录，例如 /data/modelscope/FlashVSR-v1.1-tiny-long。
  2. 在 backend/.env 中将 FLASHVSR_MODEL_PATH 指向该目录（参见上一节）。
  3. 按 FlashVSR-app 的部署文档启动后端与前端。

若你使用的是 ModelScope Python SDK，也可以在 SDK 中先下载模型到本地，再将下载路径填入 FLASHVSR_MODEL_PATH，具体用法请参考 ModelScope 官方文档。

4. 与官方 FlashVSR 的关系

  • 算法与网络结构完全继承自官方项目：
    • GitHub: https://github.com/OpenImagingLab/FlashVSR
    • 论文: FlashVSR: Towards Real-Time Diffusion-Based Streaming Video Super-Resolution（arXiv:2510.12747）
  • 本权重包仅对文件布局进行了适配，使其可以直接被 FlashVSR-app 读取，不对原始参数作任何修改。
  • 仅 Tiny Long 变体的推理流程会在 FlashVSR-app 中被调用（FlashVSRTinyLongPipeline）。

5. 许可证与引用

本权重包遵循上游 FlashVSR 的许可证（Apache 2.0）。在科研或产品中使用时，请遵守原项目的许可条款并引用原论文：

@misc{zhuang2025flashvsrrealtimediffusionbasedstreaming,
      title={FlashVSR: Towards Real-Time Diffusion-Based Streaming Video Super-Resolution},
      author={Junhao Zhuang and Shi Guo and Xin Cai and Xiaohui Li and Yihao Liu and Chun Yuan and Tianfan Xue},
      year={2025},
      eprint={2510.12747},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2510.12747},
}

如需了解更多实现细节、Block-Sparse Attention 依赖及训练设置，请参考官方仓库文档。