O Neve Cascade 90M é um modelo de linguagem de grande porte (LLM) projetado para máxima eficiência, portabilidade e acessibilidade. Com apenas 90 milhões de parâmetros, é ideal para aplicações locais, prototipagem e pesquisa, rodando em qualquer PC sem GPU dedicada.
Desenvolvido e finetunado por mim, utilizando pipeline proprietário, curadoria rigorosa de dados e técnicas de SOTA em NLP.
- 90M parâmetros, footprint < 350MB (quantizado)
- Inferência em CPU comum (<1GB RAM)
- Pipeline SOTA: QLoRA, PEFT, data augmentation, validação cruzada
- Dataset curado, balanceado e limpo
- Scripts para quantização, exportação ONNX, logging avançado
- Benchmarks e ablation studies transparentes
- Totalmente open source e de autoria própria
- Pré-processamento Avançado: Limpeza, normalização, deduplicação, filtragem de toxicidade e balanceamento de domínios.
- Data Augmentation: Paraphrase generation, back-translation, noising controlado.
- Finetuning Progressivo: Estratégia multi-stage, validação cruzada estratificada, early stopping, checkpointing inteligente.
- Otimização de Arquitetura: Ajustes em camadas, inicialização de pesos, quantização pós-treinamento, exportação ONNX.
- Treinamento Distribuído: Suporte a multi-GPU/CPU, mixed precision training.
- Perplexity: 18.2 (validação)
- BLEU: 0.31
- Rouge-L: 0.42
- Tamanho final: ~350MB (quantizado)
- Execução: <1GB RAM, CPU comum
src/— Código do modelodata/— Scripts e dados de pré-processamentoscripts/— Treinamento, avaliação, quantização, exportaçãodocs/— Documentação técnica, experimentos, pipelinenotebooks/— EDA, exemplos de inferênciaconfigs/— Configurações YAML para experimentostests/— Testes unitários
Veja docs/TRAINING_PIPELINE.md para detalhes do pipeline avançado de treinamento, incluindo data augmentation, validação cruzada, quantização e exportação.
Resultados, ablation studies e benchmarks em docs/EXPERIMENTS.md e EVALUATION.md.
pip install -r requirements.txtVeja docs/USAGE.md para exemplos de inferência, exportação e quantização.