Coulson Health Care are a global health insurance provider and are looking at implementing a new system which will use AI [Artificial Intelligance] to translate documents into English to help with the claim review process with the aim of saving time and are concerned that quality may be compromised. They are looking for a statistical tool that will provide a high level of confidence in whether the quality is maintained in correctly or incorrectly translating their documents. Which tool would you suggest they use to compare test documents against different languages?

Alternativa B - 1 Proportion Tests using their baseline Right First Time data from the manual process as the target proportion

Análise da Questão

Esta questão envolve controle de qualidade estatístico em um contexto de implementação de tecnologia. Vamos analisar o que cada opção oferece:

Contexto do Problema

Análise das Alternativas

A. Rolled Throughput Yield (RTY)

• Mede rendimento cumulativo através de múltiplas etapas do processo
• Útil para processos com várias etapas sequenciais
• Não compara diretamente contra uma meta de proporção específica
• Menos adequado para este cenário

B. 1 Proportion Test (Teste de Proporção Única)

• Compara uma proporção amostral contra uma proporção alvo conhecida
• Usa dados históricos do processo manual como referência ("Right First Time")
• Fornece intervalos de confiança e testes de hipótese
• Diretamente atende ao objetivo: verificar se qualidade foi mantida
• Ideal para dados binários (correto/incorreto)

C. Activity Ratio

• Medida de eficiência/tempo
• Não avalia qualidade das traduções
• Foca em velocidade, não em precisão
• Não resolve a preocupação principal

D. Chi-Squared Test

• Testa associação entre variáveis categóricas
• Poderia verificar se há diferença entre idiomas
• Não testa se a qualidade atende a um padrão específico
• Menos direto para comparar contra baseline

Por que a Alternativa B é Correta?

O teste de Proporção Única permite:

1. Estabelecer uma hipótese nula baseada no desempenho atual (processo manual)
2. Coletar dados do novo sistema de IA
3. Determinar estatisticamente se há diferença significativa na taxa de erros
4. Fornecer nível de confiança (p-value) sobre se a qualidade foi mantida

Onde p representa a proporção de traduções corretas.

Conclusão

A alternativa B é a mais adequada porque utiliza dados históricos como baseline e aplica um teste estatístico apropriado para proporções binárias (correto/incorreto), fornecendo o nível de confiança necessário para validar a manutenção da qualidade.