Este repo sirve para ejecutar localmente un servidor que utiliza las APIs de todos los modelos pero que trabaja localmente para mayor seguridad. Lo vamos a instalar en windows.
- Windows Subsystem Linux (WSL)
- Docker
- Key APIs de modelos
- Tavily for searching https://www.tavily.com/#pricing
- LiteLLM proxy service with PostgreSQL database
- OpenWebUI: Interface web para interactuar con los modelo
- Apache Tika service for document extration in Open WebUI
- PostgreSQL: guarda la configuracion y el historial de conversaciones
- Completar las key en el .env file Levantar docker ´´´bash docker network create proxy docker compose up -d ´´´
- Acceder a localhost:3002 y registrarse como admin
NOTA: If your LLM has a long context window (like Gemini), you can bypass embedding and retrieval in the Web Search settings. This prevents search results from being indexed in the vector database and instead feeds them directly into the LLM’s context window, potentially improving chat speed.
- Monitorear estado con LiteLLM: localhost:4000 El username es admin y pw es la master key