Quando enviamos um texto para uma IA, ela não lê exatamente como uma pessoa. Antes de processar o conteúdo, o modelo divide as palavras e os sinais em pequenas partes chamadas tokens.
Um token pode corresponder a uma palavra curta ou a apenas parte dela. Números e sinais de pontuação também entram nessa divisão. Por isso, cem palavras não produzem necessariamente cem tokens, e a contagem muda conforme o modelo.
A pergunta não chega sozinha
Os tokens enviados para o modelo são chamados de tokens de entrada. Eles não incluem apenas a pergunta digitada pela pessoa.
Instruções do sistema e trechos de documentos também entram na conta. O mesmo vale para dados recuperados por uma busca, resultados de ferramentas ou partes anteriores da sessão.
Uma pergunta curta, portanto, pode produzir uma entrada grande se vier acompanhada de muito contexto.
O contrato entra na conta
Imagine o pedido: “Resuma este contrato e destaque as obrigações mais importantes.”
Para responder, a IA recebe o pedido da pessoa e as regras da análise. Os trechos relevantes do contrato formam outra parte da entrada, junto de qualquer contexto adicional necessário.
Todo esse conteúdo forma a entrada. O resumo produzido pela IA forma a saída.
Mais conteúdo enviado significa mais tokens de entrada. Uma resposta longa aumenta os tokens de saída.
Entrada, saída e cache têm preços diferentes
Serviços de IA em nuvem costumam cobrar separadamente pelo que entra e pelo que sai. Os valores variam conforme o provider e o modelo escolhido.
Alguns providers oferecem cache para reaproveitar uma parte repetida do conteúdo em novas execuções. Esse conteúdo pode ter um custo menor, mas a disponibilidade do recurso e a forma de cobrança dependem do serviço.
Uma implementação controlada registra essas informações por execução. O histórico mostra quantos tokens entraram e saíram, quanto conteúdo foi reaproveitado e qual custo foi calculado.
Token não vira cobrança igual em todo ambiente
Em APIs de nuvem, o consumo de tokens normalmente influencia diretamente o valor cobrado pelo provider.
Modelos executados em infraestrutura própria não têm cobrança externa por token. Ainda assim, textos maiores exigem mais processamento e memória. Também levam mais tempo durante a execução.
Nos dois ambientes, enviar apenas o contexto necessário reduz trabalho desnecessário.
Cortar contexto também tem custo
Reduzir tokens não significa cortar conteúdo de qualquer maneira. Se faltar contexto, a resposta pode perder precisão.
O sistema deve selecionar as informações ligadas à tarefa e evitar instruções repetidas. Também pode limitar respostas excessivamente longas. Recursos como RAG recuperam os trechos mais relevantes antes da consulta ao modelo.
Separar instruções, contexto e prompt facilita o controle do que precisa ser enviado em cada execução.
Antes de reduzir a entrada, confira o que a resposta perderia sem aquele trecho. Economizar tokens ajuda no custo e no tempo de resposta, mas deixa de compensar quando falta informação necessária. O registro por execução também evita que o consumo se torne uma conta imprevisível.