Tokens, contexto e temperatura

O que é um token

• Unidade mínima processada pelo modelo — pode ser sílaba, palavra ou pedaço de palavra.
• Regra prática em português: ~1 token ≈ 3 a 4 caracteres (varia por idioma e modelo).
• Prompt + resposta consomem tokens; APIs cobram por milhão de tokens (entrada e saída).
• Ferramentas como tiktoken (OpenAI) estimam contagem antes de enviar.

Janela de contexto

• Limite máximo de tokens que cabem numa única chamada (entrada + saída).
• Exemplos: 8K, 32K, 128K, 200K+ — modelos recentes ampliam muito esse teto.
• Se o documento exceder o limite: resumir em partes, usar RAG ou chunking.
• Conversas longas: só os últimos N tokens entram; resuma o histórico quando necessário.

Estimativa rápida (português):

Texto com ~1.200 palavras  →  ~1.600 tokens
Código PHP médio (200 linhas) → ~800–1.200 tokens

Se context_window = 8.192 tokens e max_tokens saída = 1.024:
  espaço útil para prompt ≈ 7.168 tokens

Temperatura e top_p

Exemplos de configuração por tarefa

• Extração de JSON / classificação: temperature 0, resposta curta.
• Brainstorming de nomes: temperature 0.8–1.0.
• Revisão de código: temperature 0.2, system pedindo checklist.
• Nunca use temperatura alta para fatos, números ou compliance.

Mesmo prompt, temperatura diferente:

Prompt: "Liste 3 ideias de projeto para portfólio ADS."

temperature = 0.2  → ideias previsíveis (CRUD, API REST, todo app)
temperature = 0.9  → ideias mais variadas (IoT, gamificação, IA local…)

Para produção automatizada, prefira 0–0.3 e valide a saída.