agent crawler

Author: tangzirui

agent_crawler/cleanup_small_files.py

@@ -33,4 +33,4 @@ def cleanup_small_files(folder_path: str | Path, dry_run=True) -> None:
 
 
 if __name__ == '__main__':
-    cleanup_small_files("/home/weizheng/RIPBench文件扩充/开发情景/kaifa", dry_run=False)
+    cleanup_small_files("", dry_run=False)

agent_crawler/main.py

@@ -1,16 +1,3 @@
-"""
-main.py — 主流程入口（8 线程并发 + 断点续传）
-
-并发策略:
-  - 目录级别: 串行遍历
-  - 文件级别: 8 线程并发处理同一目录下的空文件
-  - 共享状态: ThreadSafeSet + threading.Lock 保护
-
-用法:
-  python -m pipeline.main           # 8 线程并发运行（自动续传）
-  python -m pipeline.main --reset   # 清除进度，从头开始
-"""
-
 import os
 import sys
 import json

agent_crawler/pipeline/config.py

@@ -6,19 +6,19 @@
 
 # ================= 路径配置 =================
 
-ROOT_DIR = "/home/weizheng/RIPBench文件扩充/产品情景/chanpin"
-LOG_DIR = "/home/weizheng/RIPBench文件扩充/产品情景/log_最终"
+ROOT_DIR = ""
+LOG_DIR = ""
 # BASE_DIR = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))
 # MD_FILE_PATH = os.path.join(BASE_DIR, "folder_structure.md")
-MD_FILE_PATH = "/home/weizheng/RIPBench文件扩充/产品情景/文件树.md"
+MD_FILE_PATH = ""
 # ================= LLM API/Brave Search API 配置（搜索用） =================
 
 LLM_CONFIG = {
-    "api_key": "sk-cp-6W3t_YA5i5Kmrm53VcAI7RNuAoHr-nwkINjqOkh_QRczR62se5kyxouk0wIw25agYVGYuiGMbJXUiCeG4A5Cq6R2FR8dRKriaTXeVTPPShvVeHolKQWTSqM",
-    "base_url": "https://api.minimax.chat/v1",
-    "model": "MiniMax-M2.7",
+    "api_key": "",
+    "base_url": "",
+    "model": "",
 }
-BRAVE_API_KEY = "BSAWV9iHb1I4wlQhFU4BMPg43HxJO3C"
+BRAVE_API_KEY = ""
 
 # LLM 后验证配置（留 None 则复用 LLM_CONFIG）
 VALIDATOR_LLM_CONFIG = None

agent_crawler/script.py

@@ -29,11 +29,9 @@ def export_folders_only(startpath, output_file):
 
 if __name__ == "__main__":
     # 1. 在这里修改你想扫描的目标文件夹
-    target_dir = "/home/weizheng/RIPBench文件扩充/产品情景/chanpin/"
+    target_dir = ""
 
-    # 2. 在这里修改你想保存 .md 文件的位置（也可以加上文件名）
-    # 如果你也想把它存在 D:\xiangmu 目录下，就这样写：
-    output_md = "//home/weizheng/RIPBench文件扩充/产品情景/文件树.md"
+    output_md = ""
     export_folders_only(target_dir, output_md)
     print(f"导出完成！仅记录了文件夹结构。")
     print(f"结果已保存至: {output_md}")