📋 [Meta] Plano de Melhoria Híbrida Python + Rust (PyO3) - Tracking Issue

[wesleysimplicio]

Objetivo

Centralizar o planejamento e acompanhamento da estratégia híbrida Python + Rust usando PyO3 para melhorar performance, memória e robustez em todo o ecossistema Simplicio.

Issues Relacionadas

• simplicio-dev-cli: 🚀 Explorar abordagem híbrida Python + Rust (PyO3) para performance #15 ✅ (mergeado em perf: httpx + orjson + diskcache foundations, Rust simplicio-core crate, build_6layer_prompt in Rust (closes #14, #15, #17, #18) #19)
• simplicio-mapper: #83
• simplicio-prompt: chore(release): 0.4.1 — dependency policy + ecosystem floor bump (closes #21) #22
• simplicio-sprint: #267

Escopo

• Mover hot paths para Rust (principalmente construção de prompt, parsing, hashing e retry logic)
• Manter orquestração, CLI e integração com Claude Code em Python
• Usar PyO3 + Maturin para integração limpa

Benefícios Esperados

• Ganho significativo de performance em caminhos críticos
• Melhor controle de memória (bumpalo, mimalloc)
• Base sólida para crescimento futuro dos projetos

Fases Propostas

1. Prova de conceito no simplicio-dev-cli (build_6layer_prompt) ✅
2. Expansão para mapper e outras partes
3. Otimizações avançadas (concorrência, zero-copy)

Status (simplicio-dev-cli)

• Criar crate simplicio-core em rust/simplicio-core/ (PR perf: httpx + orjson + diskcache foundations, Rust simplicio-core crate, build_6layer_prompt in Rust (closes #14, #15, #17, #18) #19)
• Setup inicial com PyO3 0.22 + Maturin
• Mover primeira função para Rust (build_6layer_prompt)
• Medir ganhos de performance: 4.9x mais rápido (12.4 µs → 2.5 µs)

Status (outros repos — fora do escopo desta sessão)

• simplicio-mapper #83
• simplicio-prompt chore(release): 0.4.1 — dependency policy + ecosystem floor bump (closes #21) #22
• simplicio-sprint #267

Labels: meta, performance, rust, tracking

[wesleysimplicio]

Status update após merge de #19:

Concluído neste repo (simplicio-dev-cli):

• 🔧 Implementar Otimizações de Performance - Fase 1 (httpx + orjson + Cache) #14 Performance Phase 1 (httpx + orjson + diskcache) — orjson 13.6x mais rápido medido
• 🚀 Explorar abordagem híbrida Python + Rust (PyO3) para performance #15 Exploração híbrida Python + Rust — concretizada com PyO3 + bumpalo + maturin
• 🛠️ Setup inicial do crate Rust (simplicio-core) com PyO3 + Maturin #17 Setup crate simplicio-core — cd rust/simplicio-core && maturin develop --release
• ⚡ Mover build_6layer_prompt para Rust (primeira prova de conceito) #18 build_6layer_prompt em Rust — 4.9x mais rápido (12.4µs → 2.5µs), paridade byte-equal

Fora de escopo desta sessão (outros repos, MCP scope restrito):

• simplicio-mapper #83
• simplicio-prompt chore(release): 0.4.1 — dependency policy + ecosystem floor bump (closes #21) #22
• simplicio-sprint #267

Próximos passos sugeridos (para PRs futuros, neste repo):

• Mover retry loop + classificação de erros para Rust (mencionado no 🚀 Explorar abordagem híbrida Python + Rust (PyO3) para performance #15)
• Mover diff parsing para Rust
• Content hashing em Rust com xxhash ou ahash
• Publicar wheels pré-compilados de simplicio-core no PyPI pra usuários sem toolchain Rust

PR: #19 mergeado em master (ff17814).

---

Generated by Claude Code

[wesleysimplicio]

Closing this meta tracker because the in-repo PyO3 phase is already merged and the cross-repo follow-up issues it tracks are now closed: simplicio-mapper#83, simplicio-prompt#22, and simplicio-sprint#267. Remaining future Rust hot-path ideas can be tracked as new focused issues.