The Customer Services department of a large chain of retail outlets have a new chatbot they have launched to support staff with “general enquiries”. The aim of the chatbot is to drive volume from the main telephony system for opening hours, location, etc onto the chatbot which uses basic AI to answer theses general enquiries. The team ask you to help provide a statistical data analysis to show if it is reducing the number of customer calls made to the Enquiry centre on this topic. Which tool do you recommend?

Alternativa D

Para validar estatisticamente se o chatbot reduziu o volume de chamadas, é fundamental garantir que a análise tenha significância estatística e representatividade. O objetivo é comparar o comportamento das chamadas antes e depois da implementação com condições equivalentes para evitar viés de dados.

A escolha do período de coleta de dados impacta diretamente a confiabilidade do resultado. Períodos muito curtos não capturam variações normais, enquanto períodos desiguais introduzem variáveis externas como sazonalidade ou dias da semana.

Análise das Alternativas

• Alternativa A (1 hora vs 1 hora): Embora os períodos sejam iguais, o tamanho da amostra é extremamente pequeno. É improvável haver volume suficiente de chamadas nesse intervalo para realizar um teste estatístico robusto, aumentando o risco de erro tipo I ou II.
• Alternativa B (1 segundo vs 1 hora): Comparar 1 segundo com 1 hora é metodologicamente inválido. Um segundo de dados quase nunca conterá eventos suficientes, tornando qualquer comparação estatística impossível e irrelevante.
• Alternativa C (1 hora vs 1 semana): Existe um desequilíbrio grave na amostragem. Comparar um dia curto com uma semana inteira pode mascarar tendências reais devido à variação natural do volume ao longo dos dias (ex: fim de semana versus segunda-feira).
• Alternativa D (1 mês vs 1 mês): Esta é a abordagem correta. Garante amostras equilibradas, permitindo controlar fatores sazonais e ciclos semanais. O volume de dados será suficiente para aplicar testes estatísticos válidos, como o teste de proporção ou diferença de médias.

Conceitos-Chave

Para que uma análise de dados seja válida em cenários empresariais, considere:

1. Tamanho da Amostra (n): Deve ser grande o suficiente para reduzir a margem de erro.
2. Controle de Variáveis: Os períodos comparados devem cobrir ciclos similares (ex: mesmo número de dias úteis).
3. Consistência: A metodologia de coleta deve permanecer constante entre os grupos de controle e tratamento.

Conclusão

A alternativa D oferece a base mais sólida para análise estatística, pois assegura equilíbrio temporal e volume adequado de dados para detectar mudanças reais no volume de chamadas.