I openwebui kan man ikke se token forbrug.
Det skal slås til for den enkelte model, hvilket vi ikke kan gøre fra den standardiserede konfiguration.
I stedet kan man tvinge litellm til at sende dem med ved hvert streaming request.
https://docs.litellm.ai/docs/completion/usage#proxy-always-include-streaming-usage
I openwebui kan man ikke se token forbrug.
Det skal slås til for den enkelte model, hvilket vi ikke kan gøre fra den standardiserede konfiguration.
I stedet kan man tvinge litellm til at sende dem med ved hvert streaming request.
https://docs.litellm.ai/docs/completion/usage#proxy-always-include-streaming-usage