[Bug] 使用qwen2.5-14b-awq模型，输入hello简单测试会话，提升prompt过长。

[xiongyinghua1]

出了什么问题？（必填，附截图）

使用qwen2.5-14b-awq模型，输入hello简单测试会话，提升prompt过长。

怎么复现？（必填，编号步骤）

1、会话栏输入 hello，提示prompt过长。

影响模块（选填，多选）

No response

环境（必填，一行）

最新dev版本

[xiongyinghua1]

[xiongyinghua1]

只是执行了一个hello会话，怎么这么长的token？

[mateaix]

你好，感谢反馈 👍 这其实不是 bug，而是 Agent 运行时的正常行为，下面解释原因和优化办法。

为什么输入一句 hello 也会有很长的 prompt

发给模型的内容里，用户输入只占很小一部分，真正占大头的是每一轮都会自动拼进 System Prompt / 上下文的「员工运行时上下文」。即使你只发 hello，下面这些都会被序列化进去：

1. 员工的角色设定 / 系统提示词（persona + 行为约束）。
2. 绑定的工具目录 —— 这是最大的一块。每个绑定到该员工的工具，都会把 完整的名称 + 描述 + 入参 JSON Schema 注入到 prompt 里（ReAct 模式需要模型「看见」工具才能调用）。默认员工往往绑了一二十个内置工具，光工具 schema 就可能上千~几千 token。
3. 技能目录（Skills） —— 已安装/绑定的技能会渲染一份运行时清单。
4. 知识库（Wiki KB）grounding —— 如果该员工挂了知识库，会注入检索/grounding 段。
5. 记忆（Memory）召回。
6. 运行时上下文（当前时间、工作目录、模型身份等，这部分很小）。

这些内容是 每一轮都会带上的固定开销，跟你输入多短没关系。所以你看到的「这么长的 token」基本上是工具 + 技能 + 知识库的 schema，而不是 hello 本身。

qwen2.5-14b-awq 这类模型，如果推理服务（vLLM/SGLang 等）启动时 --max-model-len 设得比较小（AWQ 量化默认常被压到 8k 甚至更低），固定开销很容易就顶满上下文窗口，于是报「prompt 过长」。

怎么减少 token 消耗（在「员工」配置里调）

按收益从大到小：

1. 给这个员工解绑用不到的工具（影响最大）。在「员工 → 工具」里只保留真正需要的几个工具，工具越少，注入的 schema 越少。简单对话测试可以先把工具几乎全解绑。
2. 解绑不需要的技能（Skills），同理减少技能目录。
3. 不要给测试用员工挂知识库（Wiki KB），去掉 grounding 段。
4. 关闭/精简记忆。
5. 精简该员工的系统提示词，别写太长的人设。
6. 放大推理服务的上下文窗口：qwen2.5-14b 原生支持 32k 上下文，如果是自己用 vLLM 部署，把 --max-model-len 调大（如 32768），并在 MateClaw 的模型配置里相应放开 maxTokens，就不会因为窗口太小而报「过长」。

建议先新建一个「干净员工」（不绑工具/技能/知识库）做最小测试，对比一下 token 数，就能直观看到各部分的占用。

如果你方便的话，可以把这个员工绑定的工具/技能数量、以及推理服务的 --max-model-len 贴一下，我可以帮你更精确地定位是哪一块撑大的。

[xiongyinghua1]

我目前使用系统默认员工，未挂接知识库等。

[xiongyinghua1]

目前模型提示词+回复的最大总长度为 16384 Token，约支持 8000~9000 个中文字符

[mateaix]

谢谢补充日志和截图 👍 现在能精确定位了。从你后台日志里那行报错可以看到完整真相：

This model's maximum context length is 16384 tokens. However, you requested 41886 tokens
(25502 in the messages, 16384 in the completion). Please reduce the length of the messages
or completion.  "type":"BadRequestError","code":400

拆开看就明白了：

• messages（输入 prompt）= 25502 token —— 这已经单独超过了模型 16384 的窗口。hello 只占几个 token，剩下 2.5 万全是「员工固定上下文」。日志里能直接看到被注入的内容，比如 wiki_update_page / workflow_draft_generate 等工具的完整 JSON Schema + 描述。所以即使你没挂知识库，默认员工自带的一堆工具 + 技能目录仍然把 prompt 撑到了 2.5 万。
• completion = 16384 token —— 你把「最大输出」设成了 16384，正好等于整个上下文窗口。等于说你让模型「把全部 16384 都留给回复」，那留给输入的空间就是 0。即便 prompt 很短也必然报错。

也就是说现在有两个叠加的问题：① prompt 固定开销太大；② 输出预留占满了整个窗口。

怎么改（按优先级）

① 立刻改：把模型的「最大输出 token（maxTokens / max_completion）」从 16384 调小，比如 2048~4096。
16384 的输出预留把整个窗口占光了，这是最直接的诱因。改完后窗口里才有空间放输入。

② 治本：把推理服务的上下文窗口放大到 32768。
qwen2.5-14b 原生支持 32k。如果是你自己用 vLLM/SGLang 部署，启动参数 --max-model-len 32768（AWQ 默认常被压到 16k 甚至更低），并在 MateClaw 模型配置里把上下文/最大输出相应放开。窗口到 32k 后，25502 + 4096 就能装下，问题直接消失。

③ 减负：给默认员工解绑用不到的工具和技能。
你这条 prompt 的 2.5 万 token 主要来自工具 schema 和技能目录。默认员工绑了 wiki、workflow 等一批工具，以及截图里那一长串技能（architecture-diagram / art / ascii-art …）。在「编辑员工 → 工具 / 技能」里只勾选真正要用的几个，prompt 能从 2.5 万降到几千。对 16k 小窗口的本地模型，建议精简到最小集。

小结：16k 窗口 + 16k 输出预留 + 2.5 万固定 prompt，三者叠加必然溢出。最省事的组合是 ②把窗口提到 32k + ①把输出预留降到 4k；如果窗口受限改不动，就靠 ③大幅解绑工具/技能把 prompt 压到 1 万以内。

按这个调一遍 hello 就能正常跑了，欢迎反馈结果 🙌

[xiongyinghua1]

③ 减负：给默认员工解绑用不到的工具和技能。
你这条 prompt 的 2.5 万 token 主要来自工具 schema 和技能目录。默认员工绑了 wiki、workflow 等一批工具，以及截图里那一长串技能（architecture-diagram / art / ascii-art …）。在「编辑员工 → 工具 / 技能」里只勾选真正要用的几个，prompt 能从 2.5 万降到几千。对 16k 小窗口的本地模型，建议精简到最小集。

如果一个都没有勾选，系统默认全部勾选吗？

[xiongyinghua1]

② 治本：把推理服务的上下文窗口放大到 32768。
qwen2.5-14b 原生支持 32k。如果是你自己用 vLLM/SGLang 部署，启动参数 --max-model-len 32768（AWQ 默认常被压到 16k 甚至更低），并在 MateClaw 模型配置里把上下文/最大输出相应放开。窗口到 32k 后，25502 + 4096 就能装下，问题直接消失。

我们显卡容量计算有限，放大到32768，担心承担不了。

[mateaix]

如果一个都没有勾选，系统默认全部勾选吗？

是的，等价于「全部」。 这正是你那条 hello 的 prompt 高达 2.5 万 token 的根本原因。

后端对「员工的工具/技能绑定」是三态逻辑：

状态	行为
一条绑定都没有（你没勾、也没开禁用开关）	回退到全局默认 = 注入全部已启用的工具 / 技能
开了「禁用全部工具 / 技能」开关	显式置空，不注入任何工具 / 技能目录
勾选了若干	白名单，只注入勾选的那几个

也就是说「不勾选」≠「不带工具」。这是为了兼容早期没有绑定功能的老员工而设计的：留空 = 沿用默认（全量）。所以默认员工即使你什么都没动，工具 + 技能目录仍会被整包塞进 prompt。

针对你的场景（16k 窗口、本地 qwen2.5-14b、只想测 hello）怎么操作

在「编辑员工 → 工具 / 技能」里：

1. 最干净：把「禁用全部工具」和「禁用全部技能」两个开关都打开。这才是真正的「清空」，prompt 里不再注入工具/技能 schema，能从 2.5 万降到几百~一两千 token。
2. 想保留少数：不开禁用开关，在「工具（高级）」「技能」里只勾你要用的那几个 → 变成白名单，只注入这几个。

注意：把已勾的逐个取消、最后变成「一个都没勾」，会落回第一行的「留空 = 全量」状态；要彻底不带，请用禁用开关，而不是靠取消勾选。

配合之前说的 ②（把推理服务 --max-model-len 提到 32768 并在模型配置放开最大长度）、①（把最大输出从 16384 降到 4k 左右），三管齐下后 hello 就能正常跑了。欢迎反馈结果 🙌

[xiongyinghua1]

第一步：

第二步：--max-model-len： 32768
第三步：设置员工参数

还是报错：

[xiongyinghua1]