Pipeline RAG (Retrieval-Augmented Generation) com embeddings e vector database

Implemente um pipeline RAG completo para [NOME DO PROJETO], um sistema de Q&A sobre [TIPO DE DOCUMENTOS] usando [PYTHON/NODE.JS].

**Contexto:**
- Volume: [NÚMERO] documentos ([TIPOS: PDF, DOCX, planilhas, emails])
- Tamanho total: [VALOR] GB de texto
- Idioma principal: [PORTUGUÊS/INGLÊS/AMBOS]
- Modelo de geração: [GPT-4/Claude/Llama local]
- Modelo de embeddings: [OpenAI/Cohere/Sentence-Transformers]
- Vector DB: [PINECONE/QDRANT/PGVECTOR/CHROMADB]

**1) Ingestão e Processamento:**
- Extração de texto por tipo de documento:
  - PDF: [PyPDF2/pdfplumber/unstructured]
  - DOCX: [python-docx]
  - Planilhas: conversão para texto descritivo
  - Imagens/Tabelas: OCR ou multimodal
- Limpeza: remoção de headers/footers, normalização de encoding
- Metadata extraction: título, autor, data, categoria

**2) Chunking Strategy:**
- Método: [recursive character/semantic/sentence window]
- Chunk size: [256/512/1024] tokens — justifique a escolha
- Chunk overlap: [50/100/200] tokens
- Preservar contexto: manter parágrafo inteiro quando possível
- Metadata por chunk: source document, page, section, date
- Parent document retrieval (chunk pequeno para busca, documento maior para contexto)

**3) Embeddings:**
- Modelo: [text-embedding-3-small/large, multilingual-e5, bge-m3]
- Dimensão: [256/768/1024/1536]
- Batch processing para volume grande
- Custo estimado de embedding de toda a base
- Re-embedding strategy (quando documentos mudam)

**4) Vector Database:**
- Schema do index (embeddings + metadata)
- Estratégia de indexação (HNSW, IVF)
- Filtros de metadata (buscar apenas documentos de [DATA], [CATEGORIA])
- Hybrid search: semântica + keyword (BM25)
- Reranking: Cohere Rerank ou cross-encoder

**5) Retrieval + Generation:**
- Top K chunks a recuperar: [3/5/10]
- Prompt template com contexto injetado:
  ```
  Baseado nos seguintes documentos da empresa:
  {context}
  
  Responda à pergunta: {question}
  
  Cite as fontes utilizadas.
  ```
- Streaming de resposta
- Citation/source attribution (referenciar documento original)
- Fallback quando confiança é baixa: "Não encontrei informações suficientes"

**6) Avaliação do Pipeline:**
- Métricas: faithfulness, relevance, answer correctness
- Framework: RAGAS ou custom eval
- Test set: 50-100 pares pergunta-resposta verificados por humanos
- A/B testing de chunking strategies
- Custo por query (embedding lookup + LLM generation)

**7) API e Interface:**
- REST API: `POST /ask` com streaming response
- Chat interface com histórico de conversas
- Upload de novos documentos (ingestão on-the-fly)
- Admin dashboard: documentos indexados, métricas de uso, queries populares

Forneça o código Python completo do pipeline e instruções de deploy.