Fine-tuning de LLMs com dados customizados usando LoRA e QLoRA

Crie um pipeline completo de fine-tuning para [NOME DO MODELO BASE: Llama 3/Mistral/Gemma] focado em [DOMÍNIO] usando [LoRA/QLoRA].

**Contexto:**
- Modelo base: [NOME E TAMANHO: ex. Llama 3.1 8B]
- Dataset: [NÚMERO] exemplos de [TIPO: QA/instrução/chat/classificação]
- Hardware disponível: [GPU: A100/L4/T4/RTX 4090] com [VRAM] GB
- Orçamento de compute: R$ [VALOR]
- Objetivo: [DESCREVA O QUE O MODELO DEVE FAZER MELHOR]

**1) Preparação de Dados:**
- Formato do dataset (Alpaca, ShareGPT, chat template)
- Limpeza: remoção de duplicatas, normalização, validação de qualidade
- Split: train (80%) / validation (10%) / test (10%)
- Tokenização e análise de distribuição de comprimento
- Augmentation strategies (se dataset pequeno < 5 mil)
- Prompt template consistente com o modelo base
- Exemplo de 3 registros formatados corretamente

**2) Configuração de LoRA/QLoRA:**
```python
# Configuração recomendada
```
- `r` (rank): [4/8/16/32] — trade-off qualidade vs. memória
- `lora_alpha`: [16/32] — scaling factor
- `target_modules`: quais layers adaptar (q_proj, v_proj, k_proj, o_proj, gate_proj, up_proj, down_proj)
- `lora_dropout`: [0.05/0.1]
- Quantização: 4-bit (QLoRA) com nf4 + double quantization
- Estimativa de parâmetros treináveis vs. total

**3) Training Loop:**
- Framework: Hugging Face TRL (SFTTrainer)
- Hiperparâmetros:
  - Learning rate: [1e-4/2e-4/5e-5] com cosine scheduler
  - Batch size efetivo: [VALOR] (gradient accumulation)
  - Epochs: [1-5] (monitorar overfitting)
  - Max sequence length: [512/1024/2048/4096]
  - Warmup steps: [VALOR]
- Mixed precision: bf16 (se A100) ou fp16 (se T4/RTX)
- Gradient checkpointing para economia de memória
- WandB/MLflow para tracking de experimentos

**4) Avaliação:**
- Métricas automáticas: perplexity, BLEU, ROUGE, BERTScore
- Avaliação humana: rubrica de qualidade (1-5) com 100 exemplos do test set
- Comparação: modelo base vs. fine-tuned vs. GPT-4 (baseline)
- Avaliação de alucinações e factualidade no domínio
- Benchmark em português (se disponível para o domínio)

**5) Merge e Deploy:**
- Merge LoRA weights no modelo base
- Quantização para inferência: GGUF (llama.cpp) ou GPTQ
- Deploy: vLLM/TGI para API de alta performance
- Estimativa de custo de inferência por 1K tokens

**6) Estimativa de Custos:**
- Custo de treinamento (GPU-hours × preço)
- Custo de inferência (por 1K tokens)
- Comparação com usar API (OpenAI/Anthropic) para o mesmo volume

Forneça o script Python completo do pipeline, do data prep ao deploy.