Um manual de cem páginas é grande demais para acompanhar toda pergunta. O sistema precisa separar o conteúdo e encontrar apenas a parte relacionada ao pedido.
Chunks fazem o primeiro trabalho; embeddings ajudam no segundo. Os dois aparecem com frequência em projetos de RAG, nos quais a IA consulta informações antes de responder.
Cortar sem destruir o contexto
Um chunk é apenas um trecho menor de um conteúdo maior.
O sistema pode dividir um manual em trechos sem enviá-lo inteiro ao modelo a cada consulta. O corte tenta manter juntos os parágrafos e as frases que tratam da mesma ideia.
Cada parte é um chunk. Um bom trecho conserva informação suficiente para ser entendido fora do documento completo.
Embeddings não são resumos
Um embedding representa numericamente o significado de um texto. Ele não foi feito para leitura humana.
Pense em uma biblioteca organizada por assunto. Livros sobre temas parecidos ficam próximos mesmo quando os títulos usam palavras diferentes. Embeddings cumprem uma função semelhante com os textos.
“Como cancelar minha assinatura?” e “Quero encerrar meu plano” não repetem as mesmas palavras, mas expressam pedidos próximos. Essa relação aparece na comparação entre os embeddings.
Da pergunta ao trecho
O caminho costuma seguir esta ordem:
- Um documento é enviado ao sistema.
- O conteúdo é dividido em chunks.
- Cada chunk recebe um embedding.
- A pergunta do usuário também recebe um embedding.
- O sistema encontra os trechos com significado mais próximo da pergunta.
- Apenas os trechos mais relevantes são usados para preparar a resposta.
Assim, o modelo recebe uma seleção do conteúdo, não o acervo inteiro.
A pergunta sobre a parada de emergência
Considere uma indústria com manuais de manutenção de diferentes equipamentos. Uma pessoa pergunta: “Qual é o procedimento para religar a máquina depois de uma parada de emergência?”
O sistema compara a pergunta com os chunks armazenados. Ao encontrar o trecho correspondente no manual, usa essa parte como contexto da resposta.
A pergunta não precisa repetir as palavras do documento. O que interessa nessa etapa é a proximidade de significado.
O tamanho do chunk muda o resultado
Trechos muito pequenos perdem informação ao redor. Trechos grandes demais misturam assuntos e tornam a busca menos precisa.
O corte precisa acompanhar a estrutura do conteúdo. Em alguns casos, o início de um chunk repete uma pequena parte do anterior para que a explicação não termine pela metade.