Alternativa A - Os tokens mais antigos são descartados para liberar espaço para os mais novos.
Análise do Conceito
Para entender a resposta, precisamos definir o que é a Janela de Contexto:
- É o limite máximo de texto (em tokens) que um modelo de linguagem consegue analisar e lembrar simultaneamente.
- Inclui tanto as instruções iniciais (prompt) quanto toda a troca de mensagens anterior na conversa.
- Representa a memória de curto prazo imediata do modelo.
Por que a Alternativa A está correta?
Quando a quantidade de texto ultrapassa esse limite estabelecido pelos desenvolvedores, o sistema precisa tomar uma decisão para continuar funcionando. A estratégia mais comum é:
- Gestão de Memória (Sliding Window): O sistema remove as informações mais antigas (primeiros tokens trocados) para liberar espaço para os novos dados.
- Objetivo: Manter a relevância da conversa focando nos eventos mais recentes, garantindo que o modelo não trave por falta de memória.
| Cenário | Ação do Sistema |
|---|
| Contexto vazio | Modelo recebe novo input |
| Contexto cheio | Descarta tokens antigos (Resposta A) |
| Sem descarte | Erro de execução ou parada |
Por que as outras estão incorretas?
- Opção B: O modelo não perde a capacidade permanentemente; ele apenas não consegue ler tudo. Com o descarte (opção A), ele continua processando novos tokens.
- Opção C: Armazenar o texto completo indefinidamente violaria o propósito do limite, pois consumiria recursos ilimitados.
- Opção D: Gerar respostas aleatórias depende da configuração de temperatura (aleatoriedade), não diretamente do limite de contexto.