RAG — Retrieval Augmented Generation

Por que RAG

• LLM sozinho não conhece seus documentos internos nem dados após o treinamento.
• Fine-tuning é caro e lento para atualizar FAQ semanalmente.
• RAG: indexar → buscar → montar prompt com citações → gerar resposta fundamentada.

Pipeline em 5 passos

• 1. Ingestão — PDF, HTML, markdown, tickets; extrair texto limpo.
• 2. Chunking — dividir em blocos (~500–1.000 tokens) com overlap.
• 3. Embedding — vetor numérico por chunk (OpenAI, Cohere, local).
• 4. Armazenamento — banco vetorial (pgvector, Pinecone, Chroma, Qdrant).
• 5. Query — similaridade semântica + top-k chunks no prompt do LLM.

Exemplo de prompt RAG

Você responde APENAS com base nos trechos abaixo.
Se a resposta não estiver nos trechos, diga: "Não encontrei nos documentos."

Trechos:
---
[1] (manual-instalacao.pdf, p.4)
O módulo abjinfo_gen usa data/areas.php para definir cards...
---
[2] (README.md)
PHP 8.2+ é obrigatório. Router local: php -S localhost:7070 router.php
---

Pergunta do usuário: Como adiciono um novo tópico no portal?

Resposta (cite [1] ou [2] quando usar informação):

Armadilhas comuns

• Chunks grandes demais diluem relevância; pequenos demais perdem contexto.
• Sem metadata (fonte, data), difícil auditar resposta.
• Busca só vetorial falha em IDs exatos (SKU, CPF) — combine com keyword (híbrido).
• Re-ranking melhora precisão dos top-k antes de enviar ao LLM.