North Micro Vision Instruct — NVFP4 (MLX)

本仓库包含 CohereLabs/North-Micro-Vision-Instruct 的 Apple MLX 转换版本，采用 NVFP4 MLX 量化，分组大小为 16。

它属于 North Vision MLX collection，其中包括 BF16、仿射 4/5/6/8 位、MXFP4、MXFP8 和 NVFP4 变体。

转换详情

来源：CohereLabs/North-Micro-Vision-Instruct
格式：MLX / MLX-VLM
量化：位宽：4；分组大小：16；模式：nvfp4
MLX-VLM 源版本：main，7ee8eba3

该仓库通过 MLX-VLM 转换 CLI 重新生成并直接上传：

python -m mlx_vlm convert \
  --hf-path CohereLabs/North-Micro-Vision-Instruct \
  --mlx-path North-Micro-Vision-Instruct-nvfp4 \
  --quantize --q-bits 4 --q-group-size 16 --q-mode nvfp4 \
  --upload-repo mlx-community/North-Micro-Vision-Instruct-nvfp4

使用

当前 MLX-VLM 主分支已支持 Cohere Compass。可直接从 GitHub 安装：

pip install -U "mlx-vlm @ git+https://github.com/Blaizzy/mlx-vlm.git"

运行视觉语言推理：

mlx_vlm.generate \
  --model mlx-community/North-Micro-Vision-Instruct-nvfp4 \
  --image /path/to/image.jpg \
  --prompt "Describe this image." \
  --max-tokens 512 \
  --temperature 0.0

你也可以将图像 URL 传入 --image。

说明

MLX 针对 Apple silicon 进行了优化。
本仓库更改的是存储精度/量化方式，而非源模型架构或预期行为。
有关功能、限制、授权说明和负责任使用指南，请参阅原始模型卡。