小模型本地部署中的总结（utils.py 两处）

[jayedisonGit]

本地部署中的总结（utils.py 两处）
修复 位置 内容
1 extract_json 第 119 行只处理了 ,] 和 ,} 两种尾逗号，但 qwen2.5:7B（小模型） 输出的是更复杂的非法 JSON（比如中间嵌套的尾逗号）。修复：用正则彻底清除所有尾逗号：
extract_json 第 112 行 re.sub(r',\s*([}]])', r'\1', json_content) 提前到首次解析前

2 get_page_tokens 里对每一页都调用 litellm.token_counter（远程 API），有 X 页就要调 X 次，大文件性能灾难，这才是超时根因。

• 分组逻辑只关心"这一页大概多少 token"，需要合并/拆分"
• **不关心"这个 token 是 GPT 的、Claude 的、还是本地 Ollama 稡型的"
• 只要数值大致准确即可，
• 改成 tiktoken 本地计算：
  get_page_tokens 第 385 行 litellm.token_counter → tiktoken 本地计算
  feat: add litellm.count_tokens() public API + OpenAI token counting support BerriAI/litellm#22302

[leohuai]

第一个可以考虑使用json_repair

from json_repair import repair_json


except json.JSONDecodeError as e:
        logging.error(f"Failed to extract JSON: {e}")
        # Try to clean up the content further if initial parsing fails
        try:
            # Remove any trailing commas before closing brackets/braces
            # json_content = json_content.replace(',]', ']').replace(',}', '}')
            json_content = repair_json(json_content)
            return json.loads(json_content)
        except:
            logging.error("Failed to parse JSON even after cleanup")
            return {}