蓝区 ArkTS 评测集 —— 基于 SWE-bench 范式构建的 OpenHarmony ArkTS fail-to-pass 任务集。
swe-arkts-bench 收集来自真实开源 OpenHarmony ArkTS 应用的软件工程任务。每个任务源自一个已合并的 GitHub Pull Request,经过本地环境验证(case 级单元测试),提供:
评测遵循 SWE-bench 范式:
base_commit 上,FAIL_TO_PASS 中的测试必须失败;FAIL_TO_PASS 中的测试必须全部通过;PASS_TO_PASS 中的回归测试在补丁前后必须始终保持通过。| 指标 | 数值 |
|---|---|
| 任务总数 | 13 |
| 覆盖上游仓库 | 3(security_tool / soduku-harmony / happyword) |
| FAIL_TO_PASS 测试总数 | 45 |
| PASS_TO_PASS 测试数(按任务累计) | 7547 |
| SDK API 版本 | api-23 × 2,api-24 × 11 |
| 任务来源 | 已合并的 GitHub Pull Request(2026-03 ~ 2026-06) |
| 验证方式 | 本地 case 级单元测试(case_level_unittest),13/13 验证通过 |
| instance_id | 上游仓库 | PR | FAIL_TO_PASS | PASS_TO_PASS | SDK API |
|---|---|---|---|---|---|
| security_tool_1 | Deslord319/security_tool | #12 | 1 | 611 | api-24 |
| security_tool_2 | Deslord319/security_tool | #125 | 2 | 746 | api-24 |
| security_tool_3 | Deslord319/security_tool | #40 | 1 | 595 | api-24 |
| security_tool_4 | Deslord319/security_tool | #44 | 1 | 595 | api-24 |
| security_tool_5 | Deslord319/security_tool | #54 | 1 | 610 | api-24 |
| security_tool_6 | Deslord319/security_tool | #65 | 7 | 617 | api-24 |
| security_tool_7 | Deslord319/security_tool | #87 | 5 | 673 | api-24 |
| security_tool_8 | Deslord319/security_tool | #92 | 2 | 679 | api-24 |
| security_tool_9 | Deslord319/security_tool | #93 | 7 | 670 | api-24 |
| security_tool_10 | Deslord319/security_tool | #94 | 1 | 677 | api-24 |
| soduku-harmony_11 | bytemain/soduku-harmony | #34 | 10 | 288 | api-23 |
| happyword_12 | terryma2024/happyword | #21 | 4 | 232 | api-23 |
| happyword_13 | terryma2024/happyword | #45 | 3 | 554 | api-24 |
.
├── README.md # 本说明文件
├── id_mapping.txt # 原始 instance_id -> 新 instance_id 映射表
├── security_tool_1.json # ─┐
├── ... # │ 13 个任务文件,命名恒为 <instance_id>.json
└── happyword_13.json # ─┘instance_id = <仓库名>_<序号>,序号按原始数据集文件名排序后从 1 递增,因此同一仓库的任务连续编号;id_mapping.txt 每行记录一条映射:<原始 instance_id> -> <新 instance_id>,文件头注释说明了完整规则;*.json,评测加载器可直接按扩展名 glob 加载,不会把映射表误识别为任务。| 字段 | 说明 |
|---|---|
instance_id | 任务唯一标识,与文件名一致 |
repo / repo_url | 上游 GitHub 仓库及地址 |
base_commit | 评测基准提交,模型修复基于此提交的工作区 |
problem_statement | 任务描述(英文 issue 风格,两段式:现状 + 预期) |
hints_text | 附加提示(本集为空) |
| 字段 | 说明 |
|---|---|
FAIL_TO_PASS | 基准提交上失败、应用补丁后须通过的测试 ID 列表 |
PASS_TO_PASS | 补丁前后均须保持通过的回归测试 ID 列表 |
test_patch | 测试补丁,向基准代码写入判定测试 |
BUILD_TO_PASS / CONFIG_TO_PASS / DIAGNOSTIC_TO_PASS | 预留判定字段(本集为空) |
测试 ID 形如 entry::LetterMetrics::extraLongWordsUseTightestBucket(模块::类::用例),用例主要由 test_patch 写入 entry/src/test/*.test.ets 本地单元测试(happyword_13 额外含 ohosTest UI 测试与服务端测试)。
| 字段 | 说明 |
|---|---|
patch | 黄金补丁(仅实现代码) |
patch_commit | 黄金补丁对应的上游提交 |
patch_sha256 / test_patch_sha256 | 补丁完整性校验值 |
| 字段 | 说明 |
|---|---|
version | OpenHarmony SDK API 版本(api-23 / api-24) |
base_sdk_api / target_sdk_api | 基准 / 目标 SDK API 版本 |
hvigor_version | 构建工具 hvigor 版本(如 6.23.7) |
environment_setup_commit | 环境搭建参考提交 |
validation_environment | 验证环境详情(sdk_api、hvigor、deveco_fallback_used) |
language / framework | 固定为 ArkTS / OpenHarmony |
| 字段 | 说明 |
|---|---|
candidate_kind | 任务候选类型(pull_request) |
source_origin | local_validated(经本地验证) |
validation_status / validation_kind / oracle_status / oracle_level | 验证状态与判定粒度(case_level_unittest) |
test_transition / task_type / swe_type_variant | fail_to_pass / failed2pass |
is_swe_type | 是否为 SWE 类型任务(true) |
unittest | 验证运行记录(status、transition、F2P/P2P 明细),本集全部为 passed |
files_changed / implementation_files_changed / test_files_changed | 补丁涉及的实现 / 测试文件清单 |
pull_number / created_at / merged_at / validated_at | PR 编号与关键时间戳 |
license | 上游许可证(NOASSERTION,上游仓库未声明) |
以任一任务为例,标准评测流程如下:
# 1. 检出基准代码
git clone <repo_url> repo && cd repo
git checkout <base_commit>
# 2. 应用测试补丁,写入判定测试
git apply <test_patch>
# 运行 FAIL_TO_PASS 测试 → 应全部失败(fail-to-pass 前置校验)
# 3. 应用被测补丁(模型输出,或黄金补丁 patch 作为上限参照)
# 4. 运行 FAIL_TO_PASS 测试 → 应全部通过
# 5. 运行 PASS_TO_PASS 测试 → 应全部保持通过测试通过 hvigor 单元测试执行,需 OpenHarmony SDK 与 DevEco 工具链(详见各任务的 validation_environment)。
加载数据集示例:
import glob, json
tasks = [json.load(open(p, encoding="utf-8")) for p in glob.glob("*.json")]
assert len(tasks) == 13base_sdk_api 选择 api-23 或 api-24;hvigor_version / validation_environment.hvigor);problem_statement(原始描述与重命名前的 ID 对应关系见 id_mapping.txt);license: NOASSERTION),使用本数据集时请遵循各上游仓库的相关约定。