o
openharmony-datasets/swe-arkts-bench
Datasets
Dataset viewer
Files & versions
Pull Requests
Discussion

swe-arkts-bench

蓝区 ArkTS 评测集 —— 基于 SWE-bench 范式构建的 OpenHarmony ArkTS fail-to-pass 任务集。

简介

swe-arkts-bench 收集来自真实开源 OpenHarmony ArkTS 应用的软件工程任务。每个任务源自一个已合并的 GitHub Pull Request,经过本地环境验证(case 级单元测试),提供:

  • problem_statement:英文 issue 报告风格的任务描述(基于原始 PR 语义重写,与测试判定对齐,不含答案泄露);
  • patch:黄金补丁(gold patch,仅实现代码,不含测试);
  • test_patch:测试补丁(新增/修改判定测试);
  • FAIL_TO_PASS / PASS_TO_PASS:经本地验证的测试判定集合。

评测遵循 SWE-bench 范式:

  1. 在 base_commit 上,FAIL_TO_PASS 中的测试必须失败;
  2. 应用被测补丁后,FAIL_TO_PASS 中的测试必须全部通过;
  3. PASS_TO_PASS 中的回归测试在补丁前后必须始终保持通过。

数据概览

指标数值
任务总数13
覆盖上游仓库3(security_tool / soduku-harmony / happyword)
FAIL_TO_PASS 测试总数45
PASS_TO_PASS 测试数(按任务累计)7547
SDK API 版本api-23 × 2,api-24 × 11
任务来源已合并的 GitHub Pull Request(2026-03 ~ 2026-06)
验证方式本地 case 级单元测试(case_level_unittest),13/13 验证通过

任务清单

instance_id上游仓库PRFAIL_TO_PASSPASS_TO_PASSSDK API
security_tool_1Deslord319/security_tool#121611api-24
security_tool_2Deslord319/security_tool#1252746api-24
security_tool_3Deslord319/security_tool#401595api-24
security_tool_4Deslord319/security_tool#441595api-24
security_tool_5Deslord319/security_tool#541610api-24
security_tool_6Deslord319/security_tool#657617api-24
security_tool_7Deslord319/security_tool#875673api-24
security_tool_8Deslord319/security_tool#922679api-24
security_tool_9Deslord319/security_tool#937670api-24
security_tool_10Deslord319/security_tool#941677api-24
soduku-harmony_11bytemain/soduku-harmony#3410288api-23
happyword_12terryma2024/happyword#214232api-23
happyword_13terryma2024/happyword#453554api-24

目录结构与命名规则

.
├── README.md            # 本说明文件
├── id_mapping.txt       # 原始 instance_id -> 新 instance_id 映射表
├── security_tool_1.json # ─┐
├── ...                  #  │ 13 个任务文件,命名恒为 <instance_id>.json
└── happyword_13.json    # ─┘
  • 任务 instance_id = <仓库名>_<序号>,序号按原始数据集文件名排序后从 1 递增,因此同一仓库的任务连续编号;
  • id_mapping.txt 每行记录一条映射:<原始 instance_id> -> <新 instance_id>,文件头注释说明了完整规则;
  • 目录中除 13 个任务文件外不含任何其他 *.json,评测加载器可直接按扩展名 glob 加载,不会把映射表误识别为任务。

任务 JSON 字段说明

任务输入(模型可见)

字段说明
instance_id任务唯一标识,与文件名一致
repo / repo_url上游 GitHub 仓库及地址
base_commit评测基准提交,模型修复基于此提交的工作区
problem_statement任务描述(英文 issue 风格,两段式:现状 + 预期)
hints_text附加提示(本集为空)

判定字段(评测框架使用)

字段说明
FAIL_TO_PASS基准提交上失败、应用补丁后须通过的测试 ID 列表
PASS_TO_PASS补丁前后均须保持通过的回归测试 ID 列表
test_patch测试补丁,向基准代码写入判定测试
BUILD_TO_PASS / CONFIG_TO_PASS / DIAGNOSTIC_TO_PASS预留判定字段(本集为空)

测试 ID 形如 entry::LetterMetrics::extraLongWordsUseTightestBucket(模块::类::用例),用例主要由 test_patch 写入 entry/src/test/*.test.ets 本地单元测试(happyword_13 额外含 ohosTest UI 测试与服务端测试)。

黄金答案(仅评测使用,勿泄露给模型)

字段说明
patch黄金补丁(仅实现代码)
patch_commit黄金补丁对应的上游提交
patch_sha256 / test_patch_sha256补丁完整性校验值

版本与环境

字段说明
versionOpenHarmony SDK API 版本(api-23 / api-24)
base_sdk_api / target_sdk_api基准 / 目标 SDK API 版本
hvigor_version构建工具 hvigor 版本(如 6.23.7)
environment_setup_commit环境搭建参考提交
validation_environment验证环境详情(sdk_api、hvigor、deveco_fallback_used)
language / framework固定为 ArkTS / OpenHarmony

验证与溯源元数据

字段说明
candidate_kind任务候选类型(pull_request)
source_originlocal_validated(经本地验证)
validation_status / validation_kind / oracle_status / oracle_level验证状态与判定粒度(case_level_unittest)
test_transition / task_type / swe_type_variantfail_to_pass / failed2pass
is_swe_type是否为 SWE 类型任务(true)
unittest验证运行记录(status、transition、F2P/P2P 明细),本集全部为 passed
files_changed / implementation_files_changed / test_files_changed补丁涉及的实现 / 测试文件清单
pull_number / created_at / merged_at / validated_atPR 编号与关键时间戳
license上游许可证(NOASSERTION,上游仓库未声明)

评测流程

以任一任务为例,标准评测流程如下:

# 1. 检出基准代码
git clone <repo_url> repo && cd repo
git checkout <base_commit>

# 2. 应用测试补丁,写入判定测试
git apply <test_patch>
#    运行 FAIL_TO_PASS 测试 → 应全部失败(fail-to-pass 前置校验)

# 3. 应用被测补丁(模型输出,或黄金补丁 patch 作为上限参照)

# 4. 运行 FAIL_TO_PASS 测试 → 应全部通过
# 5. 运行 PASS_TO_PASS 测试 → 应全部保持通过

测试通过 hvigor 单元测试执行,需 OpenHarmony SDK 与 DevEco 工具链(详见各任务的 validation_environment)。

加载数据集示例:

import glob, json

tasks = [json.load(open(p, encoding="utf-8")) for p in glob.glob("*.json")]
assert len(tasks) == 13

环境要求

  • OpenHarmony SDK:按任务 base_sdk_api 选择 api-23 或 api-24;
  • 构建工具:hvigor(版本见 hvigor_version / validation_environment.hvigor);
  • 工具链:DevEco Studio / 命令行 hvigorw 测试执行环境。

数据来源与许可

  • 任务实例精选自 hreyulog/swe-bench-arkts 的 failed2pass 子集,重命名后重新编写了全部 problem_statement(原始描述与重命名前的 ID 对应关系见 id_mapping.txt);
  • 原始任务来自 GitHub 开源仓库 Deslord319/security_tool、bytemain/soduku-harmony、terryma2024/happyword 的已合并 Pull Request;
  • 上游仓库均未声明许可证(license: NOASSERTION),使用本数据集时请遵循各上游仓库的相关约定。