tiny-router

tiny-router 是一款轻量级的实验性多头路由分类器，适用于简短、领域无关的消息，并支持可选的交互上下文。它能预测四个独立信号，供下游系统或智能体用于更新处理、动作路由、内存策略和优先级排序。

预测内容

relation_to_previous: new | follow_up | correction | confirmation | cancellation | closure
actionability: none | review | act
retention: ephemeral | useful | remember
urgency: low | medium | high

模型在推理时独立输出这些头信息，此外还会输出经过校准的置信度和一个 overall_confidence。

预期用途

• 将简短的用户消息路由至轻量级自动化层级。
• 检测消息是更新先前上下文还是开启新内容。
• 判断是否需要采取行动、进行安全审核，或是无需任何操作。
• 将一次性细节与短期有用上下文及长期记忆候选内容区分开来。
• 按紧急程度对项目进行优先级排序。

适用场景：

• 在助手或生产力工具中路由类消息请求
• 对后续跟进、更正、确认和收尾工作进行分类处理
• 带有审核 fallback 的保守型自动化

不适用场景：

• 无防护措施的完全自主高风险操作
• 需要专家推理或受监管决策的领域

训练数据

此检查点基于以下合成数据集拆分进行训练：

• data/synthetic/train.jsonl
• data/synthetic/validation.jsonl
• data/synthetic/test.jsonl

数据遵循结构化 JSONL 模式，包含：

• current_text
• 可选的 interaction.previous_text
• 可选的 interaction.previous_action
• 可选的 interaction.previous_outcome
• 可选的 interaction.recency_seconds
• labels 下的四个标签头

模型详情

• 基础编码器：microsoft/deberta-v3-small
• 架构：仅编码器多任务分类器
• 池化：学习注意力池化
• 结构化特征：
  • 规范化的 previous_action 嵌入
  • previous_outcome 嵌入
  • log1p(recency_seconds) 的学习投影
• 头结构：
  • 依赖感知多任务头
  • 后续头以先前头预测的学习摘要为条件
• 校准：
  • 在验证 logits 上拟合的事后每头温度缩放

此检查点的训练参数：

• batch_size = 32
• epochs = 20
• max_length = 128
• encoder_lr = 2e-5
• head_lr = 1e-4
• dropout = 0.1
• pooling_type = attention
• use_head_dependencies = true

当前结果

来自 artifacts/tiny-router/eval.json 的留出测试结果：

• macro_average_f1 = 0.7848
• exact_match = 0.4570
• automation_safe_accuracy = 0.6230
• automation_safe_coverage = 0.5430
• ECE = 0.3440

每头宏 F1：

• relation_to_previous = 0.8415
• actionability = 0.7982
• retention = 0.7809
• urgency = 0.7187

消融实验：

• current_text_only = 0.7058
• current_plus_previous_text = 0.7478
• full_interaction = 0.7848

解读：

• 交互上下文有帮助
• 可操作性和紧急性指标可用但仍不完美
• 高置信度自动化仅在采用保守阈值时才可行

局限性

• 该基准是特定任务的，且仅在本仓库内部使用。
• 数据集是合成的，因此在实际产品流量中可能存在分布偏移。
• 细微边界上的标签质量仍然非常重要。
• 置信度校准有所改进，但仍不足以支持广泛的无人值守自动化。

推理示例

{
  "relation_to_previous": { "label": "correction", "confidence": 0.94 },
  "actionability": { "label": "act", "confidence": 0.97 },
  "retention": { "label": "useful", "confidence": 0.76 },
  "urgency": { "label": "medium", "confidence": 0.81 },
  "overall_confidence": 0.87
}

如何加载

此仓库使用自定义的检查点格式。请通过本项目加载它：

from tiny_router.io import load_checkpoint
from tiny_router.runtime import get_device

device = get_device(requested_device="cpu")
model, tokenizer, config = load_checkpoint("artifacts/tiny-router", device=device)

或者使用以下命令运行推理：

uv run python predict.py \
  --model-dir artifacts/tiny-router \
  --input-json '{"current_text":"Actually next Monday","interaction":{"previous_text":"Set a reminder for Friday","previous_action":"created_reminder","previous_outcome":"success","recency_seconds":45}}' \
  --pretty