GPEN Portrait Enhancement — 昇腾 NPU 适配部署

pip install modelscope
modelscope download --model iic/cv_gpen_image-portrait-enhancement-hires

python inference_simple.py --input photo.jpg --output enhanced.jpg

python inference_simple.py --input photo.jpg --output enhanced.jpg --device npu

python inference.py --input photo.jpg --output enhanced.jpg --device npu

python modelscope_pipeline.py --input photo.jpg --output enhanced.jpg --device npu

from modelscope_pipeline import GPENPortraitEnhancementPipeline, OutputKeys

# 创建 Pipeline（指定 NPU 设备）
pipeline = GPENPortraitEnhancementPipeline('model_files/', device='npu')

# 单张图片增强
result = pipeline('input.jpg')
cv2.imwrite('output.jpg', result[OutputKeys.OUTPUT_IMG])

# 也可传入 numpy 数组
import cv2
img = cv2.imread('input.jpg')
result = pipeline(img)

# NPU 推理
python modelscope_pipeline.py --input photo.jpg --output enhanced.jpg --device npu

# CPU 推理
python modelscope_pipeline.py --input photo.jpg --output enhanced.jpg --device cpu

# 禁用超分预处理
python modelscope_pipeline.py --input photo.jpg --output enhanced.jpg --device npu --no_sr

import cv2
from gpen_model import FullGenerator
import torch

# 加载模型
model = FullGenerator(1024, 512, 8, channel_multiplier=2, narrow=1, isconcat=True)
ckpt = torch.load('model_files/pytorch_model.pt', map_location='cpu', weights_only=False)
model.load_state_dict(ckpt, strict=True)
model.to('npu:0').eval()

# 预处理
img = cv2.imread('input.jpg')
img_resized = cv2.resize(img, (1024, 1024))
tensor = (img_resized.astype(np.float32) / 255.0 - 0.5) / 0.5
tensor = torch.from_numpy(tensor).permute(2, 0, 1).unsqueeze(0).to('npu:0')

# 推理
with torch.no_grad():
    output, _ = model(tensor, return_latents=False)

# 后处理
result = ((output.squeeze().cpu().permute(1, 2, 0).clamp(-1, 1) + 1) * 127.5).numpy().astype(np.uint8)
cv2.imwrite('enhanced.jpg', result)

cd gpen-portrait-enhancement
python run_verify.py

# 完整 CPU vs NPU 精度+性能基准测试
python precision_benchmark.py --model_dir model_files --warmup 2 --runs 5

# 指定测试图片
python precision_benchmark.py --input photo.jpg --runs 10

gpen-portrait-enhancement/
├── model_files/                  # 模型权重
│   ├── pytorch_model.pt         # FullGenerator
│   └── net_d.pt                 # Discriminator
├── gpen_model.py                # 模型定义 (FullGenerator + Discriminator)
├── modelscope_pipeline.py       # ModelScope 风格 Pipeline (NPU 兼容)
├── inference.py                 # 完整推理管线 (检测+对齐+增强+融合)
├── inference_simple.py          # 简单推理脚本 (仅增强)
├── run_verify.py                # 自验证推理脚本 (一键截图验证)
├── precision_benchmark.py       # CPU vs NPU 精度&性能基准测试
├── retinaface_detection.py      # RetinaFace 人脸检测
├── align_faces.py               # 人脸对齐
├── face_quality.py              # 人脸质量评估
├── arcface.py                   # ArcFace 人脸识别
├── batch_process.py             # 批量处理脚本
├── RUN_LOG.md                   # 运行日志（完整终端输出 + JSON 报告）
├── verify_output/               # 自验证输出
│   ├── cpu_enhanced.png         # CPU 增强结果
│   ├── npu_enhanced.png         # NPU 增强结果
│   ├── pipeline_npu_enhanced.png# 完整管线 NPU 结果
│   └── verify_report.json       # 结构化验证报告
├── benchmark_results/           # 基准测试结果
│   ├── precision_report.json    # 基准测试报告
│   ├── cpu_output.png           # CPU 增强结果
│   ├── npu_output.png           # NPU 增强结果
│   └── diff_heatmap.png         # 差异热力图
└── README.md                    # 本文档

# FullGenerator
FullGenerator(
    size=1024,           # 输出分辨率 1024×1024
    style_dim=512,       # Style vector 维度
    n_mlp=8,             # Mapping network 层数
    channel_multiplier=2,# 通道倍数
    narrow=1,            # 通道缩窄系数 (1=不缩窄)
    isconcat=True        # 使用 concat 模式 (feat_multiplier=2)
)

# Discriminator (推理不需要)
Discriminator(
    size=1024,            # 输入参考大小
    channel_multiplier=2  # 通道倍数
)
# 实际输入 512×512, 7个ResBlock下采样到4×4