[Feature][CI/CD] Support agent runtime env auto deploy

ais_bench/configs/agent_example/harbor_terminal_bench_2_task.py

@@ -6,6 +6,27 @@
 with read_base():
     from ais_bench.benchmark.configs.summarizers.example import summarizer
 
+# 数据集路径：用 mmengine 的 {{$VAR:default}} 占位符从环境变量读取。
+# mmengine 在执行本文件前，会先用 os.environ['VAR'] 的值替换整个 {{$VAR:default}}
+# 占位符；如果环境变量未设置，则替换为 default 部分。
+#
+# 这里 AISBENCH_AGENT_DATASET_PATH 的值就是 bootstrap.sh --datasets 传入的完整路径，
+# 由 bootstrap.sh 自动注入到容器环境变量中，无需 import sys / import os 任何库。
+#
+# 使用流程：
+#   1. 物理机: bash bootstrap.sh --datasets /data/datasets/harbor/mini-0.10/terminal-bench-2-offline-selected_0.10
+#   2. 容器内: ais_bench <此配置> --debug     # path 自动从 env var 读
+#
+# 切到其它 tier 时只改 bootstrap.sh --datasets 参数即可（4 套常用路径）：
+#   full:      /data/datasets/harbor/full/terminal-bench-2                              (89 case)
+#   mini-0.10: /data/datasets/harbor/mini-0.10/terminal-bench-2-offline-selected_0.10   (7 case, 默认)
+#   mini-0.14: /data/datasets/harbor/mini-0.14/terminal-bench-2-offline-selected_0.14   (10 case)
+#   mini-0.20: /data/datasets/harbor/mini-0.20/terminal-bench-2-offline-selected_0.20   (14 case)
+#
+# 不使用 agent_runtime 容器方案时：直接 export AISBENCH_AGENT_DATASET_PATH=<path> 即可；
+# 不 export 时使用下方 DEFAULT_DATASET_FALLBACK 兜底。
+DEFAULT_DATASET_PATH = '{{$AISBENCH_AGENT_DATASET_PATH:/data/datasets/harbor/mini-0.10/terminal-bench-2-offline-selected_0.10}}'
+
 models = [
     dict(
         abbr="terminus-2",
@@ -59,7 +80,8 @@
                 environment_type="docker",  # -e/--env: 环境类型 (docker, daytona, e2b, modal)
                 environment_force_build=False,  # --force-build/--no-force-build: 是否强制重建环境
                 environment_delete=False,  # --delete/--no-delete: 完成后是否删除环境
-                path="/path/to/terminal-bench-2/",  # -p/--path: 本地数据集路径
+                path=DEFAULT_DATASET_PATH,  # -p/--path: 本地数据集路径（需与 bootstrap.sh --datasets 传入路径对齐）
+                # 切换 tier：把上面 DEFAULT_DATASET_PATH 改成 full / mini-0.14 / mini-0.20 对应路径
                 dataset_name_version=None,  # -d/--dataset: 远程数据集名称@版本
                 task_names=None,  # --include-task-name: 包含的任务名称（支持glob模式）例如 ["task_name1", "task_name2"]
                 exclude_task_names=None,  # --exclude-task-name: 排除的任务名称

ais_bench/configs/swe_bench_examples/mini_swe_agent_swe_bench_full.py

@@ -4,6 +4,21 @@
 from ais_bench.benchmark.tasks import SWEBenchInferTask, SWEBenchEvalTask
 from ais_bench.benchmark.summarizers import SWEBenchSummarizer
 
+# 数据集路径：用 mmengine 的 {{$VAR:default}} 占位符从环境变量读取。
+# mmengine 在执行本文件前，会先用 os.environ['VAR'] 的值替换整个 {{$VAR:default}}
+# 占位符；如果环境变量未设置，则替换为 default 部分（此处为空 → 沿用 HF 在线下载）。
+#
+# 这里 AISBENCH_AGENT_DATASET_PATH 的值就是 bootstrap.sh --datasets 传入的完整路径，
+# 由 bootstrap.sh 自动注入到容器环境变量中，无需 import sys / import os 任何库。
+#
+# 使用流程：
+#   1. 物理机: bash bootstrap.sh --datasets /data/datasets/swebench/<...>
+#   2. 容器内: ais_bench <此配置> --debug     # path 自动从 env var 读
+#
+# 不使用 agent_runtime 容器方案时：直接 export AISBENCH_AGENT_DATASET_PATH=<path> 即可；
+# 不 export 时回落到 HF 在线下载（默认行为）。
+DEFAULT_DATASET_PATH = '{{$AISBENCH_AGENT_DATASET_PATH:}}'
+
 STEP_LIMIT = 200
 
 models = [
@@ -31,7 +46,8 @@
         type=SWEBenchDataset,
         abbr="swebench_full",
         # Relative to AIS_BENCH_DATASETS_CACHE (default: project root); missing dir -> HF snapshot_download
-        path="",
+        # 本字段通过环境变量 AISBENCH_AGENT_DATASET_PATH 注入；不设置时为空，沿用 HF 在线下载
+        path=DEFAULT_DATASET_PATH,
         name="full",
         split="test",
         step_limit=STEP_LIMIT,

ais_bench/configs/swe_bench_examples/mini_swe_agent_swe_bench_lite.py

@@ -4,6 +4,21 @@
 from ais_bench.benchmark.tasks import SWEBenchInferTask, SWEBenchEvalTask
 from ais_bench.benchmark.summarizers import SWEBenchSummarizer
 
+# 数据集路径：用 mmengine 的 {{$VAR:default}} 占位符从环境变量读取。
+# mmengine 在执行本文件前，会先用 os.environ['VAR'] 的值替换整个 {{$VAR:default}}
+# 占位符；如果环境变量未设置，则替换为 default 部分（此处为空 → 沿用 HF 在线下载）。
+#
+# 这里 AISBENCH_AGENT_DATASET_PATH 的值就是 bootstrap.sh --datasets 传入的完整路径，
+# 由 bootstrap.sh 自动注入到容器环境变量中，无需 import sys / import os 任何库。
+#
+# 使用流程：
+#   1. 物理机: bash bootstrap.sh --datasets /data/datasets/swebench/<...>
+#   2. 容器内: ais_bench <此配置> --debug     # path 自动从 env var 读
+#
+# 不使用 agent_runtime 容器方案时：直接 export AISBENCH_AGENT_DATASET_PATH=<path> 即可；
+# 不 export 时回落到 HF 在线下载（默认行为）。
+DEFAULT_DATASET_PATH = '{{$AISBENCH_AGENT_DATASET_PATH:}}'
+
 STEP_LIMIT = 200
 
 models = [
@@ -30,8 +45,9 @@
     dict(
         type=SWEBenchDataset,
         abbr="swebench_lite",
-        # Relative to AIS_BENCH_DATASETS_CACHE (default: project root); missing -> HF download
-        path="",
+        # Relative to AIS_BENCH_DATASETS_CACHE (default: project root); missing dir -> HF snapshot_download
+        # 本字段通过环境变量 AISBENCH_AGENT_DATASET_PATH 注入；不设置时为空，沿用 HF 在线下载
+        path=DEFAULT_DATASET_PATH,
         name="lite",
         split="test",
         filter_spec="",

ais_bench/configs/swe_bench_examples/mini_swe_agent_swe_bench_multilingual.py

@@ -4,6 +4,21 @@
 from ais_bench.benchmark.tasks import SWEBenchInferTask, SWEBenchEvalTask
 from ais_bench.benchmark.summarizers import SWEBenchSummarizer
 
+# 数据集路径：用 mmengine 的 {{$VAR:default}} 占位符从环境变量读取。
+# mmengine 在执行本文件前，会先用 os.environ['VAR'] 的值替换整个 {{$VAR:default}}
+# 占位符；如果环境变量未设置，则替换为 default 部分（此处为空 → 沿用 HF 在线下载）。
+#
+# 这里 AISBENCH_AGENT_DATASET_PATH 的值就是 bootstrap.sh --datasets 传入的完整路径，
+# 由 bootstrap.sh 自动注入到容器环境变量中，无需 import sys / import os 任何库。
+#
+# 使用流程：
+#   1. 物理机: bash bootstrap.sh --datasets /data/datasets/swebench/<...>
+#   2. 容器内: ais_bench <此配置> --debug     # path 自动从 env var 读
+#
+# 不使用 agent_runtime 容器方案时：直接 export AISBENCH_AGENT_DATASET_PATH=<path> 即可；
+# 不 export 时回落到 HF 在线下载（默认行为）。
+DEFAULT_DATASET_PATH = '{{$AISBENCH_AGENT_DATASET_PATH:}}'
+
 STEP_LIMIT = 200
 
 models = [
@@ -31,7 +46,8 @@
         type=SWEBenchDataset,
         abbr="swebench_multilingual",
         # Relative to AIS_BENCH_DATASETS_CACHE (default: project root); missing -> HF download
-        path="",
+        # 本字段通过环境变量 AISBENCH_AGENT_DATASET_PATH 注入；不设置时为空，沿用 HF 在线下载
+        path=DEFAULT_DATASET_PATH,
         name="multilingual",
         split="test",
         step_limit=STEP_LIMIT,

ais_bench/configs/swe_bench_examples/mini_swe_agent_swe_bench_multilingual_mini.py

@@ -4,6 +4,22 @@
 from ais_bench.benchmark.tasks import SWEBenchInferTask, SWEBenchEvalTask
 from ais_bench.benchmark.summarizers import SWEBenchSummarizer
 
+# 数据集路径：用 mmengine 的 {{$VAR:default}} 占位符从环境变量读取。
+# mmengine 在执行本文件前，会先用 os.environ['VAR'] 的值替换整个 {{$VAR:default}}
+# 占位符；如果环境变量未设置，则替换为 default 部分（此处为空 → HF 在线下载会失败）。
+#
+# 这里 AISBENCH_AGENT_DATASET_PATH 的值就是 bootstrap.sh --datasets 传入的完整路径，
+# 由 bootstrap.sh 自动注入到容器环境变量中，无需 import sys / import os 任何库。
+#
+# 使用流程：
+#   1. 物理机: 下载 mini 数据集并准备目录（HF 无该数据集）
+#      https://modelers.cn/datasets/AISBench/SWE-Bench_Multilingual_mini
+#   2. 物理机: bash bootstrap.sh --datasets /data/datasets/swebench/<mini路径>
+#   3. 容器内: ais_bench <此配置> --debug     # path 自动从 env var 读
+#
+# 不使用 agent_runtime 容器方案时：直接 export AISBENCH_AGENT_DATASET_PATH=<path> 即可。
+DEFAULT_DATASET_PATH = '{{$AISBENCH_AGENT_DATASET_PATH:}}'
+
 STEP_LIMIT = 200
 
 models = [
@@ -31,7 +47,8 @@
         type=SWEBenchDataset,
         abbr="swebench_multilingual_mini",
         # Relative to AIS_BENCH_DATASETS_CACHE (default: project root); missing -> HF download
-        path="",  # Set local path to the mini dataset. Download from https://modelers.cn/datasets/AISBench/SWE-Bench_Multilingual_mini
+        # 本字段通过环境变量 AISBENCH_AGENT_DATASET_PATH 注入；mini 数据集 HF 无，必须 env var 注入本地路径
+        path=DEFAULT_DATASET_PATH,
         name="multilingual",
         split="test",
         step_limit=STEP_LIMIT,

ais_bench/configs/swe_bench_examples/mini_swe_agent_swe_bench_verified.py

@@ -4,6 +4,21 @@
 from ais_bench.benchmark.tasks import SWEBenchInferTask, SWEBenchEvalTask
 from ais_bench.benchmark.summarizers import SWEBenchSummarizer
 
+# 数据集路径：用 mmengine 的 {{$VAR:default}} 占位符从环境变量读取。
+# mmengine 在执行本文件前，会先用 os.environ['VAR'] 的值替换整个 {{$VAR:default}}
+# 占位符；如果环境变量未设置，则替换为 default 部分（此处为空 → 沿用 HF 在线下载）。
+#
+# 这里 AISBENCH_AGENT_DATASET_PATH 的值就是 bootstrap.sh --datasets 传入的完整路径，
+# 由 bootstrap.sh 自动注入到容器环境变量中，无需 import sys / import os 任何库。
+#
+# 使用流程：
+#   1. 物理机: bash bootstrap.sh --datasets /data/datasets/swebench/<...>
+#   2. 容器内: ais_bench <此配置> --debug     # path 自动从 env var 读
+#
+# 不使用 agent_runtime 容器方案时：直接 export AISBENCH_AGENT_DATASET_PATH=<path> 即可；
+# 不 export 时回落到 HF 在线下载（默认行为）。
+DEFAULT_DATASET_PATH = '{{$AISBENCH_AGENT_DATASET_PATH:}}'
+
 STEP_LIMIT = 200
 
 models = [
@@ -31,7 +46,8 @@
         type=SWEBenchDataset,
         abbr="swebench_verified",
         # Relative to AIS_BENCH_DATASETS_CACHE (default: project root); missing -> HF download
-        path="",
+        # 本字段通过环境变量 AISBENCH_AGENT_DATASET_PATH 注入；不设置时为空，沿用 HF 在线下载
+        path=DEFAULT_DATASET_PATH,
         name="verified",
         split="test",
         step_limit=STEP_LIMIT,

ais_bench/configs/swe_bench_examples/mini_swe_agent_swe_bench_verified_mini.py

@@ -4,6 +4,21 @@
 from ais_bench.benchmark.tasks import SWEBenchInferTask, SWEBenchEvalTask
 from ais_bench.benchmark.summarizers import SWEBenchSummarizer
 
+# 数据集路径：用 mmengine 的 {{$VAR:default}} 占位符从环境变量读取。
+# mmengine 在执行本文件前，会先用 os.environ['VAR'] 的值替换整个 {{$VAR:default}}
+# 占位符；如果环境变量未设置，则替换为 default 部分（此处为空 → 沿用 HF 在线下载）。
+#
+# 这里 AISBENCH_AGENT_DATASET_PATH 的值就是 bootstrap.sh --datasets 传入的完整路径，
+# 由 bootstrap.sh 自动注入到容器环境变量中，无需 import sys / import os 任何库。
+#
+# 使用流程：
+#   1. 物理机: bash bootstrap.sh --datasets /data/datasets/swebench/<...>
+#   2. 容器内: ais_bench <此配置> --debug     # path 自动从 env var 读
+#
+# 不使用 agent_runtime 容器方案时：直接 export AISBENCH_AGENT_DATASET_PATH=<path> 即可；
+# 不 export 时回落到 HF 在线下载（默认行为）。
+DEFAULT_DATASET_PATH = '{{$AISBENCH_AGENT_DATASET_PATH:}}'
+
 STEP_LIMIT = 200
 
 models = [
@@ -31,7 +46,8 @@
         type=SWEBenchDataset,
         abbr="swebench_verified_mini",
         # Relative to AIS_BENCH_DATASETS_CACHE (default: project root); missing -> HF download
-        path="",
+        # 本字段通过环境变量 AISBENCH_AGENT_DATASET_PATH 注入；不设置时为空，沿用 HF 在线下载
+        path=DEFAULT_DATASET_PATH,
         name="verified_mini",
         split="test",
         step_limit=STEP_LIMIT,

ais_bench/configs/swe_bench_pro_examples/mini_swe_agent_swe_bench_pro_full.py

@@ -4,6 +4,21 @@
 from ais_bench.benchmark.tasks import SWEBenchProInferTask, SWEBenchProEvalTask
 from ais_bench.benchmark.summarizers import SWEBenchProSummarizer
 
+# 数据集路径：用 mmengine 的 {{$VAR:default}} 占位符从环境变量读取。
+# mmengine 在执行本文件前，会先用 os.environ['VAR'] 的值替换整个 {{$VAR:default}}
+# 占位符；如果环境变量未设置，则替换为 default 部分（此处为空 → 沿用 HF 在线下载）。
+#
+# 这里 AISBENCH_AGENT_DATASET_PATH 的值就是 bootstrap.sh --datasets 传入的完整路径，
+# 由 bootstrap.sh 自动注入到容器环境变量中，无需 import sys / import os 任何库。
+#
+# 使用流程：
+#   1. 物理机: bash bootstrap.sh --datasets /data/datasets/swebench_pro/<...>
+#   2. 容器内: ais_bench <此配置> --debug     # path 自动从 env var 读
+#
+# 不使用 agent_runtime 容器方案时：直接 export AISBENCH_AGENT_DATASET_PATH=<path> 即可；
+# 不 export 时回落到 HF 在线下载（默认行为）。
+DEFAULT_DATASET_PATH = '{{$AISBENCH_AGENT_DATASET_PATH:}}'
+
 STEP_LIMIT = 250
 
 models = [
@@ -26,14 +41,15 @@
     )
 ]
 
-SWEBP_SCRIPT_PATH_ABS = ""
-SWEBP_DOCKER_PATH_ABS = ""
+SWEBP_SCRIPT_PATH_ABS = "/opt/src/SWE-bench_Pro-os/run_scripts"
+SWEBP_DOCKER_PATH_ABS = "/opt/src/SWE-bench_Pro-os/dockerfiles"
 
 datasets = [
     dict(
         type=SWEBenchProDataset,
         abbr="swebench_pro_full_data",
-        path="",
+        # 本字段通过环境变量 AISBENCH_AGENT_DATASET_PATH 注入；不设置时为空，沿用 HF 在线下载
+        path=DEFAULT_DATASET_PATH,
         name="full",
         split="test",
         step_limit=STEP_LIMIT,

ais_bench/configs/swe_bench_pro_examples/mini_swe_agent_swe_bench_pro_mini.py

@@ -4,6 +4,22 @@
 from ais_bench.benchmark.tasks import SWEBenchProInferTask, SWEBenchProEvalTask
 from ais_bench.benchmark.summarizers import SWEBenchProSummarizer
 
+# 数据集路径：用 mmengine 的 {{$VAR:default}} 占位符从环境变量读取。
+# mmengine 在执行本文件前，会先用 os.environ['VAR'] 的值替换整个 {{$VAR:default}}
+# 占位符；如果环境变量未设置，则替换为 default 部分（此处为空 → mini 无 HF 源会失败）。
+#
+# 这里 AISBENCH_AGENT_DATASET_PATH 的值就是 bootstrap.sh --datasets 传入的完整路径，
+# 由 bootstrap.sh 自动注入到容器环境变量中，无需 import sys / import os 任何库。
+#
+# 使用流程：
+#   1. 物理机: 下载 mini 数据集并准备目录
+#      https://modelers.cn/datasets/AISBench/SWE-Bench_Pro_mini
+#   2. 物理机: bash bootstrap.sh --datasets /data/datasets/swebench_pro/<mini路径>
+#   3. 容器内: ais_bench <此配置> --debug     # path 自动从 env var 读
+#
+# 不使用 agent_runtime 容器方案时：直接 export AISBENCH_AGENT_DATASET_PATH=<path> 即可。
+DEFAULT_DATASET_PATH = '{{$AISBENCH_AGENT_DATASET_PATH:}}'
+
 STEP_LIMIT = 250
 
 models = [
@@ -26,14 +42,15 @@
     )
 ]
 
-SWEBP_SCRIPT_PATH_ABS = ""
-SWEBP_DOCKER_PATH_ABS = ""
+SWEBP_SCRIPT_PATH_ABS = "/opt/src/SWE-bench_Pro-os/run_scripts"
+SWEBP_DOCKER_PATH_ABS = "/opt/src/SWE-bench_Pro-os/dockerfiles"
 
 datasets = [
     dict(
         type=SWEBenchProDataset,
         abbr="swebench_pro_mini_data",
-        path="",
+        # 本字段通过环境变量 AISBENCH_AGENT_DATASET_PATH 注入；mini 数据集 HF 无，必须 env var 注入本地路径
+        path=DEFAULT_DATASET_PATH,
         name="mini",
         split="test",
         step_limit=STEP_LIMIT,