mncai/agiin-13.6B-v0.1 模型卡片

MindsAndCompany 简介

我们研发各类人工智能模型，并开发可应用于商业场景的解决方案。在生成式人工智能领域，我们正在开发如代码助手、TOD 聊天机器人、LLMOps 等产品，同时也在推进企业级通用人工智能（Artificial General Intelligence）的研发工作。

模型概述

本模型基于 Mistral 架构构建，其灵感来源于神经连接技术与康复治疗理念。我创建了一种无需预训练的全新模型架构，仅需单张 H100 显卡训练 7 小时即可完成模型训练。

数据

Intel/orca_dpo_pairs（DPO）

模型构建与训练

堆叠 Mistral 的 62 层网络并采用 DPO 训练方法。

使用方法

from openmind import AutoTokenizer, AutoModelForCausalLM
import openmind
import torch
import torch_npu 
import argparse

def parse_args():
    parser = argparse.ArgumentParser()
    parser.add_argument(
        "--model_name_or_path",
        type=str,
        help="Path to model",
        default="LF_AICC/agiin-13.6B-v0.1",
    )
    args = parser.parse_args()
    return args

args = parse_args()
model = args.model_name_or_path

tokenizer = AutoTokenizer.from_pretrained(model)
pipeline = openmind.pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
sequences = pipeline(
   "<|im_start|>user\nDoes P=NP?<|im_end|>\n<|im_start|>assistant\n",
    max_length=256,
    do_sample=True,
    top_k=10,
    num_return_sequences=1,
    eos_token_id=tokenizer.eos_token_id,
)
for seq in sequences:
    print(f"Result: {seq['generated_text']}")

联系方式

如有任何问题，请提交 issue 或通过邮箱 dwmyoung@mnc.ai 与我们联系。