🧬 SciCore-Omics

一种融合组织学、空间转录组学与生物语言的三模态基础模型

SciCore-Omics 概览

🔍 概览

SciCore-Omics 是一种三模态生物医学基础模型，它将组织学图像、空间转录组学谱和生物语言连接起来，用于空间生物学和病理学相关推理。

该模型引入了一个基于NicheFormer + Gene Q-Former + Gene Projector的基因感知分支，使转录组信息能够与语言模型的令牌空间对齐。

SciCore-Omics 支持：

🖼️ 仅图像推理；
🧬 仅基因推理；
🖼️🧬 图像-基因联合推理；
💬 自然语言生物医学解释。

✨ 亮点

组织学、空间转录组学与语言的三模态建模
采用 NicheFormer 的基因感知转录组编码
在语言模型空间中实现统一的图像-基因-文本推理
专为空间生物学、病理学推理和生物医学解释设计
开源模型权重、代码和演示

🚀 快速开始

此 Hugging Face 仓库托管模型权重。

有关完整的推理和训练代码，请参考 GitHub 仓库：

git clone https://github.com/OpenBMB/Scicore-Omics.git
cd Scicore-Omics

下载模型权重：

huggingface-cli download openbmb/SciCore-Omics \
  --local-dir ./weights/SciCore-Omics

最小加载示例：

import torch
from transformers import AutoModel, AutoTokenizer, AutoProcessor

model_path = "openbmb/SciCore-Omics"

processor = AutoProcessor.from_pretrained(
    model_path,
    trust_remote_code=True
)

tokenizer = AutoTokenizer.from_pretrained(
    model_path,
    trust_remote_code=True
)

model = AutoModel.from_pretrained(
    model_path,
    trust_remote_code=True,
    torch_dtype=torch.bfloat16,
    device_map="auto"
)

model.eval()

如需完整示例，请参见：

https://github.com/OpenBMB/Scicore-Omics/tree/main/eval

📦 资源

资源	链接
模型权重	https://huggingface.co/openbmb/SciCore-Omics
GitHub 代码	https://github.com/OpenBMB/Scicore-Omics
在线演示	https://huggingface.co/spaces/Alkaidxxy/SciCore-Omics

⚠️ 局限性

SciCore-Omics 仅用于研究目的。

其生成的生物医学解释可能存在不准确或不完整之处，不应作为独立的临床诊断或治疗推荐系统使用。

📚 引用

@misc{xiao2026scicoreomics,
  title  = {SciCore-Omics: a tri-modal foundation model unifying histology, spatial transcriptomics and language for spatial biology},
  author = {Xiao, Xinyu and Li, Yunfei and Zeng, Zheni and others},
  year   = {2026},
  note   = {Manuscript in preparation}
}

📄 许可协议

本项目基于 Apache-2.0 许可协议发布。