Step-3.7-Flash-NVFP4:可用于处理视觉语言任务、执行多步骤搜索循环、运行并发编码代理等。该项目是198B参数的稀疏混合专家模型，结合语言骨干与视觉编码器，支持256k上下文窗口，提供三级推理平衡速度与认知深度。【此简介由AI生成】

[ModelPage]: https://static.stepfun.com/blog/step-3.7-flash/

1. 简介

Step 3.7 Flash 是一款拥有 1980 亿参数的稀疏混合专家（Mixture-of-Experts, MoE）视觉语言模型。它融合了 1960 亿参数的语言主干与 18 亿参数的视觉编码器，实现原生图像理解。该模型专为高频生产工作负载设计，每个 token 约激活 110 亿参数，吞吐量高达每秒 400 个 token。Step 3.7 Flash 支持 256k 上下文窗口，并提供低、中、高三档可选推理级别，方便开发者在速度、成本与认知深度间轻松平衡。

我们开发 Step 3.7 Flash，旨在满足开发者对融合感知、搜索与推理的智能体工作流进行规模化部署的需求。它能处理各类密集型任务，例如一次性解析海量财务报告、执行带跨源验证的多步骤搜索循环，或在高吞吐量管道中运行并发编码智能体。

2. 能力与性能

多模态感知与验证

该模型具备顶尖视觉智能，在 SimpleVQA (Search) 榜单中以 79.2 分位列第一，并在 V* (Python) 任务上达到 95.3 分的前沿水平。这些指标体现了其强大的视觉定位能力和超越基础图像描述的检索增强推理能力。模型能准确处理密集的视觉界面，如 UI 线框图、应用程序 GUI 和数据图表，并将其映射为结构化代码。当遇到不完整的视觉资产时，它能独立识别缺失数据，并在返回经过事实验证的结论前执行查询以验证上下文。

工作流完整性与工具编排

执行可靠性对于自主智能体至关重要。Step 3.7 Flash 在 ClawEval-1.1 基准测试中以 67.1 分的成绩领先，显著超越第二名的 59.8 分。这一表现证明其在多轮编排过程中对 adversarial 陷阱具有高抵抗力，并能严格遵守系统策略。辅以 Toolathlon 49.5 分和 HLE w. Tool 48.1 分的成绩，该模型确保了高轨迹完整性。Step 3.7 Flash 能可靠地与外部 API 交互，执行长周期工作流，且不会偏离指令或违反系统约束。

代码工程与专业基准

Step-3.7-Flash 专为实际工程任务打造，在 SWE-Bench PRO 评测中稳居第二名，得分 56.3。它能够独立追踪多文件代码库，从原始问题报告中定位漏洞，并生成可通过自动化单元测试的功能性补丁。尽管在 Terminal-Bench 2.1（59.5 分）和 GDPVal-AA（45.8 分）等评测中，与同期最佳水平相比仍有明显的优化空间，但这些成绩为系统交互和结构化专业交付成果奠定了可靠的基准。

Step-3.7-Flash 在通用智能体、智能体编码和多模态评测中的基准测试结果

3. 定价

令牌类型	价格
输入（缓存未命中）	$0.20 / 百万令牌
输入（缓存命中）	$0.04 / 百万令牌
输出	$1.15 / 百万令牌

4. 可用性、部署与生态系统

可用性：Step-3.7-Flash 已在 StepFun 开放平台（platform.stepfun.ai（全球）和 platform.stepfun.com（中国））、OpenRouter 以及 NVIDIA NIM 上线。StepFun 还将与 DeepInfra、Fireworks AI 和 Modal 合作，很快扩展其可用性。
部署：Step-3.7-Flash 支持在云、数据中心和本地环境中灵活部署。对于大规模生产和企业级使用场景，Step-3.7-Flash 可部署在现代化数据中心基础设施上。对于本地和工作站场景，它也可以在高内存设备上运行，例如 NVIDIA DGX Station、基于 AMD Ryzen AI Max+ 395 的系统，以及至少配备 128GB 统一内存的 Mac Studio / MacBook Pro 设备。
生态系统：Step-3.7-Flash 在主流开源基础设施中均获得支持，无论是推理还是模型开发。在推理和服务方面，开发人员可以使用 vLLM、SGLang、Hugging Face Transformers 和 llama.cpp。在模型开发工作流方面，StepFun 模型支持已集成到 NVIDIA Megatron 生态系统中，包括 Megatron Core 和 Megatron Bridge。

5. 示例

您可以通过 StepFun 的 API 或其他推理服务提供商，在几分钟内开始使用 Step 3.7 Flash。

为您所在的地区选择正确的 base_url。StepFun 运营两个区域平台，分别设有独立的 API 主机。您传递给 OpenAI 客户端的 base_url 必须与您的 API 密钥所对应的平台相匹配，否则请求将被视为未授权而遭拒绝。

全球：platform.stepfun.ai — base_url=https://api.stepfun.ai/v1

中国：platform.stepfun.com — base_url=https://api.stepfun.com/v1

为避免硬编码错误的地区信息，以下示例将从环境变量中读取 API 密钥和基础 URL。运行前请先导出它们：
export STEP_API_KEY="sk-..."
export STEP_BASE_URL="https://api.stepfun.ai/v1"   # 中国平台请使用 https://api.stepfun.com/v1

5.1 聊天示例

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["STEP_API_KEY"],
    base_url=os.environ["STEP_BASE_URL"],
)

completion = client.chat.completions.create(
    model="step-3.7-flash",
    messages=[
        {
            "role": "system",
            "content": "You are an AI assistant provided by StepFun. You are good at Chinese, English, and many other languages, and you can see, think, and act to help users get things done.",
        },
        {
            "role": "user",
            "content": "Introduce StepFun's artificial intelligence capabilities."
        },
    ],
)

print(completion)

5.2 文本和图像输入示例

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["STEP_API_KEY"],
    base_url=os.environ["STEP_BASE_URL"],
)

completion = client.chat.completions.create(
    model="step-3.7-flash",
    messages=[
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "What is in this picture?"},
                {
                    "type": "image_url",
                    "image_url": {"url": "https://example.com/photo.jpg"},
                },
            ],
        },
    ],
)

print(completion)

6. 本地部署

Step 3.7 Flash 针对本地推理进行了优化，并支持行业标准后端，包括 vLLM、SGLang、Hugging Face Transformers 和 llama.cpp。

6.1 vLLM

我们建议使用 StepFun 预构建的、支持 Step 3.7 的 vLLM Docker 镜像。

安装 vLLM。

# via Docker
docker pull vllm/vllm-openai:stepfun37

启动服务器。

对于 FP8 模型

  vllm serve <MODEL_PATH_OR_HF_ID> \
  --served-model-name step3p7-flash \
  --tensor-parallel-size 8 \
  --enable-expert-parallel \
  --disable-cascade-attn \
  --reasoning-parser step3p5 \
  --enable-auto-tool-choice \
  --tool-call-parser step3p5 \
  --speculative_config '{"method": "mtp", "num_speculative_tokens": 3}' \
  --trust-remote-code

针对 BF16 模型

  vllm serve <MODEL_PATH_OR_HF_ID> \
  --served-model-name step3p7-flash-bf16 \
  --tensor-parallel-size 8 \
  --enable-expert-parallel \
  --disable-cascade-attn \
  --reasoning-parser step3p5 \
  --enable-auto-tool-choice \
  --tool-call-parser step3p5 \
  --speculative_config '{"method": "mtp", "num_speculative_tokens": 3}' \
  --trust-remote-code

对于 NVFP4 模型与标准精度相比，运行 FP4 量化版本需要激活 modelopt 并进行 FP8 KV Cache 对齐。

  python3 -m vllm.entrypoints.openai.api_server \
  --host 0.0.0.0 \
  --port ${PORT} \
  --model stepfun-ai/Step-3.7-Flash-NVFP4 \
  --served-model-name step3p7 \
  --tensor-parallel-size 4 \
  --gpu-memory-utilization 0.9 \
  --enable-expert-parallel \
  --trust-remote-code \
  --quantization modelopt \
  --kv-cache-dtype fp8 \
  --max-model-len 8192 \
  --reasoning-parser step3p5 \
  --enable-auto-tool-choice \
  --tool-call-parser step3p5 \
  --async-scheduling

6.2 SGLang

安装 SGLang。

# via Docker
docker pull lmsysorg/sglang:dev-step-3.7-flash

# or from source (pip)
pip install "sglang[all] @ git+https://github.com/sgl-project/sglang.git"

启动服务器。

注意： 对于 Blackwell GPU，可以使用 --mm-attention-backend fa4。

针对 BF16 模型

sglang serve --model-path stepfun-ai/Step-3.7-Flash \
  --tp 8 \
  --reasoning-parser step3p5 \
  --tool-call-parser step3p5 \
  --enable-multimodal \
  --speculative-algorithm EAGLE \
  --speculative-num-steps 3 \
  --speculative-eagle-topk 1 \
  --speculative-num-draft-tokens 4 \
  --enable-multi-layer-eagle \
  --trust-remote-code \
  --host 0.0.0.0 \
  --port 8000

针对 FP8 模型

sglang serve --model-path stepfun-ai/Step-3.7-Flash-FP8 \
  --tp 8 \
  --ep 4 \
  --reasoning-parser step3p5 \
  --tool-call-parser step3p5 \
  --enable-multimodal \
  --speculative-algorithm EAGLE \
  --speculative-num-steps 3 \
  --speculative-eagle-topk 1 \
  --speculative-num-draft-tokens 4 \
  --enable-multi-layer-eagle \
  --trust-remote-code \
  --host 0.0.0.0 \
  --port 8000

针对 NVFP4 模型

sglang serve --model-path stepfun-ai/Step-3.7-Flash-NVFP4 \
  --tp 4 --ep 4 \
  --moe-runner-backend flashinfer_trtllm \
  --kv-cache-dtype fp8_e4m3 \
  --quantization modelopt_fp4 \
  --trust-remote-code \
  --reasoning-parser step3p5 \
  --tool-call-parser step3p5 \
  --attention-backend trtllm_mha

6.3 Transformers（调试/验证）

可使用此代码片段进行快速功能验证。如需高吞吐量服务，请使用vLLM或SGLang。

注意：部署此模型需要transformers 5.0或更高版本。

from transformers import AutoProcessor, AutoModelForCausalLM

MODEL_PATH = "<MODEL_PATH_OR_HF_ID>"

# 1. Setup
processor = AutoProcessor.from_pretrained(MODEL_PATH, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    MODEL_PATH,
    device_map="auto",
    dtype="auto",
    trust_remote_code=True
)

# 2. Prepare Input
messages = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://example.com/photo.jpg"},
            {"type": "text", "text": "What is in this picture?"}
        ]
    },
]
inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    add_generation_prompt=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)

# 3. Generate
generated_ids = model.generate(**inputs, max_new_tokens=128, do_sample=False)
output_text = processor.decode(generated_ids[0][inputs.input_ids.shape[1]:], skip_special_tokens=True)

print(output_text)

6.4 llama.cpp

系统要求

GGUF 模型权重：

组件	量化方式	文件大小
Language Model	Q4_K_S	111.5 GB
Language Model	IQ4_XS	104.99 GB
Language Model	Q3_K_L	102.5 GB
Multimodal Projector	FP16	3.97 GB

运行时开销： ~7 GB
最低统一内存/显存： 120 GB（例如 Mac Studio、NVIDIA DGX Station、AMD Ryzen AI Max+ 395）
推荐配置： 128 GB 统一内存

步骤

使用 llama.cpp：

git clone https://github.com/stepfun-ai/llama.cpp.git
cd llama.cpp
git checkout -b step3.7 origin/step3.7

在 Mac 上构建 llama.cpp：

cmake -B build-macos -S . \
    -DCMAKE_BUILD_TYPE=Release \
    -DBUILD_SHARED_LIBS=ON \
    -DLLAMA_BUILD_SERVER=ON \
    -DLLAMA_BUILD_TESTS=ON \
    -DGGML_METAL=ON \
    -DGGML_METAL_EMBED_LIBRARY=ON \
    -DGGML_BLAS=ON \
    -DGGML_BLAS_VENDOR=Apple \
    -DGGML_ACCELERATE=ON \
    -DGGML_NATIVE=ON
cmake --build build-macos -j8

在 DGX-Spark 上构建 llama.cpp：

cmake -S . -B build-cuda \
  -DCMAKE_BUILD_TYPE=Release \
  -DGGML_CUDA=ON \
  -DGGML_CUDA_GRAPHS=ON \
  -DGGML_CUDA_FORCE_MMQ=ON \
  -DLLAMA_OPENSSL=OFF \
  -DLLAMA_BUILD_COMMON=ON \
  -DLLAMA_BUILD_TOOLS=ON \
  -DLLAMA_BUILD_SERVER=ON \
  -DLLAMA_BUILD_EXAMPLES=OFF \
  -DLLAMA_BUILD_TESTS=OFF
cmake --build build-cuda -j8

在 AMD Windows 上构建 llama.cpp：

cmake -S . -B build-vulkan \
  -DCMAKE_BUILD_TYPE=Release \
  -DGGML_VULKAN=ON \
  -DGGML_NATIVE=ON \
  -DLLAMA_BUILD_SERVER=ON \
  -DLLAMA_BUILD_UI=OFF \
  -DLLAMA_BUILD_TOOLS=ON
cmake --build build-vulkan -j8

使用 llama-cli 运行：

./llama-cli -m Step3.7_Q4_K_S.gguf -b 2048 -ub 2048 -fa on --temp 1.0 -p "What's your name?"

使用 llama-batched-bench 测试性能：

./llama-batched-bench -m step3.7_Q4_K_S.gguf -c 32768 -b 2048 -ub 2048 -npp 0,2048,8192,16384,32768 -ntg 128 -npl 1

7. 在代理平台上使用 Step 3.7 Flash

您可以在 Hermes Agent、OpenClaw、Kilo Code 等代理平台上使用 Step 3.7 Flash。

8. 联系我们

我们正通过扩展通用模型能力来塑造 AGI 的未来，因此希望确保我们在解决正确的问题。诚邀您加入这个持续的反馈循环——您的见解将直接影响我们的工作重点。

参与讨论：我们的 Discord 社区是集思广益未来架构、提出功能建议和获取早期更新的主要枢纽 🚀
反馈问题：遇到功能限制？您可以在 GitHub / HuggingFace 上提交 issue 或发起讨论，也可以直接在 Discord 支持频道中反馈。

📄 许可证

本项目基于 Apache 2.0 许可证开源。