Quando enviamos um texto para uma IA, ela não lê exatamente como uma pessoa. Antes de processar o conteúdo, o modelo divide as palavras e os sinais em pequenas partes chamadas tokens.
Um token pode ser uma palavra curta, parte de uma palavra, um número ou um sinal de pontuação. Por isso, cem palavras não significam necessariamente cem tokens. A quantidade também pode mudar conforme o modelo utilizado.
A conta começa antes da resposta
Os tokens enviados para o modelo são chamados de tokens de entrada. Eles não incluem apenas a pergunta digitada pela pessoa.
Também podem entrar nessa conta as instruções do sistema, trechos de documentos, dados recuperados por uma busca, resultados de ferramentas e partes anteriores da mesma sessão.
Isso significa que uma pergunta curta pode gerar uma entrada grande quando precisa ser acompanhada por muito contexto.
Um contrato como exemplo
Imagine o pedido: “Resuma este contrato e destaque as obrigações mais importantes.”
Para responder, a IA pode receber:
- O pedido da pessoa.
- As regras que orientam a análise.
- Os trechos relevantes do contrato.
- Algum contexto adicional necessário para a tarefa.
Todo esse conteúdo forma a entrada. O resumo produzido pela IA forma a saída.
Quanto mais conteúdo for enviado, maior será o número de tokens de entrada. Quanto maior for a resposta, maior será o número de tokens de saída.
Entrada, saída e conteúdo reaproveitado
Serviços de IA em nuvem costumam cobrar separadamente pelo que entra e pelo que sai. Os valores variam conforme o provider e o modelo escolhido.
Alguns providers também oferecem cache. Nesse caso, uma parte repetida do conteúdo pode ser reaproveitada em novas execuções e ter um custo menor. Esse recurso e sua forma de cobrança dependem do serviço utilizado.
Uma implementação bem controlada registra essas informações por execução. Assim, é possível acompanhar quantos tokens entraram, quantos saíram, quanto conteúdo foi reaproveitado e qual foi o custo calculado.
Nuvem e máquina própria
Em APIs de nuvem, o consumo de tokens normalmente influencia diretamente o valor cobrado pelo provider.
Em modelos executados em infraestrutura própria, não existe uma cobrança externa por token. Mesmo assim, textos maiores exigem mais processamento, levam mais tempo e ocupam mais memória durante a execução.
Nos dois casos, enviar apenas o contexto necessário ajuda a manter a operação mais eficiente.
Economizar sem retirar informação importante
Reduzir tokens não significa cortar conteúdo de qualquer maneira. Se faltar contexto, a resposta pode perder precisão.
O melhor caminho é selecionar somente as informações relacionadas à tarefa, limitar respostas excessivamente longas e evitar repetir instruções sem necessidade. Recursos como RAG ajudam a recuperar apenas os trechos mais relevantes antes de consultar o modelo.
Também é importante separar corretamente instruções, contexto e prompt. Essa organização facilita o controle do que realmente precisa ser enviado em cada execução.
O ponto principal
Tokens são as pequenas unidades usadas pela IA para processar textos. Tudo o que entra e tudo o que o modelo produz participa do consumo.
Entender essa divisão ajuda a controlar custos, tempo de resposta e quantidade de contexto sem transformar o uso da IA em uma conta imprevisível.