Which metric are we optimizing for?
Para qual métrica estamos otimizando?Aula
Argumentação baseada em dados
Nível: B2
Objetivo
Construir e defender argumentos técnicos em inglês usando dados com maturidade: saber citar a fonte, qualificar a confiança, reconhecer limites de amostra, e evitar o exagero de conclusão que transforma métrica em prova absoluta.
Explicação
Argumentação B2 baseada em dados combina três habilidades: escolher a métrica certa, qualificar a confiança, e limitar a conclusão ao que o dado realmente mostra. Os marcadores verbais são: *according to the metrics*, *the trend suggests*, *the data indicates*, *the sample is too small to conclude*, *with high confidence*, *within the limits of this benchmark*. O oposto do argumento B2 é a afirmação sem qualificador: *X is faster* (sem comparação), *users prefer Y* (sem teste), *this will reduce cost by 50%* (sem assumir premissas).
Erros comuns: confundir correlação com causalidade, extrapolar benchmark curto para produção, esconder a metodologia por trás de uma frase bonita, usar números para confirmar o que você já queria dizer, e não falar do que o dado não mostra. O bom argumento B2 inclui o que o dado *não* responde: *'we can say with reasonable confidence that the change reduces p95 latency in this benchmark, but we cannot conclude it scales to production traffic without a load test.'*
Para receber crítica baseada em dado: peça a metodologia antes de discordar da conclusão. *'Can you walk me through the benchmark setup before we debate the number?'* Para apresentar sua própria análise: comece com a pergunta, depois o método, depois o resultado, depois os limites. Estrutura B2: *'We wanted to know if X. We measured Y under Z. The result shows A with B confidence. The main caveat is C.'*
Exemplos
| Inglês | Tradução | Observação |
|---|---|---|
| According to the metrics, the trend suggests a 12% drop in p95 latency. | De acordo com as métricas, a tendência sugere uma queda de 12% na latência p95. | Qualificador duplo: 'according to' + 'the trend suggests'. |
| The data indicates the change is beneficial, but the sample size is limited. | Os dados indicam que a mudança é benéfica, mas o tamanho da amostra é limitado. | Mostra o que o dado diz E o que ele não diz. |
| We can say with reasonable confidence that the change reduces p95 latency in this benchmark. | Podemos dizer com confiança razoável que a mudança reduz a latência p95 neste benchmark. | Qualifica confiança + escopo da conclusão. |
| We cannot conclude it scales to production traffic without a load test. | Não podemos concluir que escala para tráfego de produção sem um teste de carga. | Reconhece limite antes que outro precise dizer. |
| Can you walk me through the benchmark setup before we debate the number? | Você consegue me explicar a configuração do benchmark antes de debatermos o número? | Pedido de metodologia: separa número de contexto. |
| We wanted to know if X, we measured Y under Z, the result shows A with B confidence. | Queríamos saber se X, medimos Y sob Z, o resultado mostra A com confiança B. | Estrutura B2: pergunta → método → resultado → confiança. |
| The main caveat is that the test ran on synthetic data, not production. | A principal ressalva é que o teste rodou em dado sintético, não em produção. | Caveat explícito: protege a conclusão de ataque. |
| Correlation is not causation; let's not jump to 'this caused the outage'. | Correlação não é causalidade; não vamos pular para 'isso causou a queda'. | Marcador explícito anti-causalidade. |
Erros comuns
- Falar 'X é mais rápido' sem comparar: não diz mais rápido que o quê, em que carga, em que métrica.
- Confundir correlação com causalidade: 'A e B aconteceram juntos, então A causou B' é um salto.
- Extrapolar benchmark curto para produção: 5 minutos de teste sintético não dizem o que acontece em 24h de produção.
- Esconder metodologia: 'os dados mostram X' sem dizer como os dados foram coletados é cherry-picking.
- Usar números para confirmar o que você já queria: confirmation bias aparece em qual métrica você escolhe mostrar.
- Não falar o que o dado não mostra: argumento B2 sempre inclui o caveat explícito.
- Citar um número só: a força do argumento está em tendência + intervalo de confiança + benchmark setup.
- Tratar dashboard como prova: dashboards mostram tendência; só o experimento controlado prova causa.
Prática guiada
Reescreva cada afirmação abaixo no padrão B2 de argumentação com dado. O objetivo é qualificar confiança, mostrar tendência, reconhecer limites.
- Afirmação nua: 'A mudança reduziu latência.'
→ Versão B2: *According to the last week of production traffic, the change is associated with a 12% drop in p95 latency. The trend is consistent across regions, but the sample size is limited to one week, so I'd treat this as directional, not conclusive.* Explicação: fonte + métrica + escopo + qualificação.
- Causalidade precipitada: 'O deploy causou o incidente.'
→ Versão B2: *The incident started 14 minutes after the deploy, which is suspicious but not conclusive. Correlation is not causation; we should look at the metrics for the same time window and the recent changes before we blame the deploy.* Explicação: marcador anti-causalidade + pede mais evidência.
- Número solto: 'Vamos economizar 50% do custo.'
→ Versão B2: *According to the cost projection under our current usage, switching to X could reduce the line item by up to 50%. The main caveat is that the estimate assumes traffic stays flat and prices don't change; I would not commit to the 50% number in public.* Explicação: número + premissas + limite da confiança.
Resumo
Argumentação B2 com dados é qualificar a confiança e limitar a conclusão ao que o dado mostra. Marcadores: *according to*, *the trend suggests*, *the data indicates*, *with reasonable confidence*, *the sample is limited*, *we cannot conclude*. Estrutura: pergunta → método → resultado → confiança → caveat. Pedir metodologia antes de debater o número é movimento de senioridade.
Vocabulário
Palavras principais
The trend suggests a 12% drop.
A tendência sugere uma queda de 12%.The sample size is limited to one week.
O tamanho da amostra é limitado a uma semana.We can say with reasonable confidence that the change works.
Podemos dizer com confiança razoável que a mudança funciona.Let me walk you through the benchmark setup.
Deixa eu te explicar a configuração do benchmark.We need to test this against production traffic.
Precisamos testar isso contra tráfego de produção.We need a load test before we ship.
Precisamos de um teste de carga antes de lançar.Correlation is not causation.
Correlação não é causalidade.We cannot claim causation from this data alone.
Não podemos afirmar causalidade a partir desses dados sozinhos.The main caveat is the synthetic dataset.
A principal ressalva é o dataset sintético.I'd treat this as directional, not conclusive.
Eu trataria isso como direcional, não conclusivo.p95 dropped 12% in this benchmark.
p95 caiu 12% neste benchmark.We need a control group to compare.
Precisamos de um grupo de controle para comparar.We ruled out a regression in the search path.
Descartamos uma regressão no caminho de busca.The timing is suspicious but not conclusive.
O tempo é suspeito, mas não conclusivo.Let me be clear about the scope of the conclusion.
Deixa eu ser claro sobre o escopo da conclusão.We have to avoid cherry-picking the data.
Temos que evitar escolher só o que confirma.Do not extrapolate from one region to all of them.
Não extrapole de uma região para todas.História
História: Argumentação baseada em dados
Nível: B2
História em inglês
The Friday review
On Friday, the team reviewed the new caching layer in the search service. Priya opened the discussion by stating the question. She said, we wanted to know if the new cache reduces p95 latency under realistic load. Marcus walked the team through the benchmark setup. He explained the load profile, the data shape, and the warm-up time. He emphasized that the test was synthetic, not production traffic. Lena asked, can you walk me through the sample size?
Result with caveats
Marcus presented the result with a confidence qualifier. He said, the trend suggests a 12% drop in p95 latency, with reasonable confidence. He added, the data is consistent across regions in this benchmark. Lena asked, what can we not conclude from this? Marcus listed the caveats. We cannot conclude that it scales to production traffic without a load test, he said. The main caveat is the synthetic dataset, he added. He recommended treating the result as directional, not conclusive.
Decision with explicit limits
The team discussed the next step. Lena asked, can we ship with these caveats? Marcus proposed a phased rollout with explicit guardrails. He said, we can ship behind a feature flag, with a 5% canary, and require a load test before we go to 50%. He added, correlation is not causation, so we should compare canary vs control metrics every hour. Lena asked, who owns the load test? Priya volunteered; deadline is end of next sprint. The team agreed, with the explicit limit that we would not promote beyond 50% without the load test.
Tradução linha por linha
| Inglês | Tradução |
|---|---|
| On Friday, the team reviewed the new caching layer in the search service. | Na sexta, o time revisou a nova camada de cache no serviço de busca. |
| Priya opened the discussion by stating the question. | Priya abriu a discussão enunciando a pergunta. |
| She said, we wanted to know if the new cache reduces p95 latency under realistic load. | Ela disse: queríamos saber se o novo cache reduz latência p95 sob carga realista. |
| Marcus walked the team through the benchmark setup. | Marcus guiou o time pela configuração do benchmark. |
| He explained the load profile, the data shape, and the warm-up time. | Ele explicou o perfil de carga, o formato dos dados e o tempo de warm-up. |
| He emphasized that the test was synthetic, not production traffic. | Ele enfatizou que o teste era sintético, não tráfego de produção. |
| Lena asked, can you walk me through the sample size? | Lena perguntou: você consegue explicar o tamanho da amostra? |
| Marcus presented the result with a confidence qualifier. | Marcus apresentou o resultado com qualificador de confiança. |
| He said, the trend suggests a 12% drop in p95 latency, with reasonable confidence. | Ele disse: a tendência sugere uma queda de 12% na latência p95, com confiança razoável. |
| He added, the data is consistent across regions in this benchmark. | Ele completou: os dados são consistentes entre regiões neste benchmark. |
| Lena asked, what can we not conclude from this? | Lena perguntou: o que não podemos concluir a partir disso? |
| Marcus listed the caveats. | Marcus listou as ressalvas. |
| We cannot conclude that it scales to production traffic without a load test, he said. | Não podemos concluir que escala para tráfego de produção sem um teste de carga, ele disse. |
| The main caveat is the synthetic dataset, he added. | A principal ressalva é o dataset sintético, ele completou. |
| He recommended treating the result as directional, not conclusive. | Ele recomendou tratar o resultado como direcional, não conclusivo. |
| The team discussed the next step. | O time discutiu o próximo passo. |
| Lena asked, can we ship with these caveats? | Lena perguntou: podemos lançar com essas ressalvas? |
| Marcus proposed a phased rollout with explicit guardrails. | Marcus propôs um rollout em fases com guardrails explícitos. |
| He said, we can ship behind a feature flag, with a 5% canary, and require a load test before we go to 50%. | Ele disse: podemos lançar atrás de uma feature flag, com um canary de 5%, e exigir um teste de carga antes de ir para 50%. |
| He added, correlation is not causation, so we should compare canary vs control metrics every hour. | Ele completou: correlação não é causalidade, então devemos comparar métricas do canary vs controle a cada hora. |
| Lena asked, who owns the load test? | Lena perguntou: quem é dono do teste de carga? |
| Priya volunteered; deadline is end of next sprint. | Priya se voluntariou; prazo é fim da próxima sprint. |
| The team agreed, with the explicit limit that we would not promote beyond 50% without the load test. | O time concordou, com o limite explícito de que não promoveria além de 50% sem o teste de carga. |
Notas de vocabulário
- we wanted to know if the new cache reduces p95 latency under realistic load = abrir com a pergunta certa; B2 começa pelo problema.
- can you walk me through the sample size? = pedir metodologia é movimento de senioridade; separa número de contexto.
- the trend suggests a 12% drop in p95 latency, with reasonable confidence = qualificador duplo: tendência + nível de confiança.
- we cannot conclude that it scales to production traffic without a load test = reconhecer limite antes que outro precise dizer; protege a decisão.
- the main caveat is the synthetic dataset = caveat explícito: blindagem contra ataque.
- treat the result as directional, not conclusive = directional = aponta; conclusivo = prova. B2 usa o termo certo.
- we can ship behind a feature flag, with a 5% canary = rollout em fases com guardrails; padrão B2 de decisão com limite.
- correlation is not causation, so we should compare canary vs control metrics every hour = comparar canary vs controle transforma correlação em evidência mais forte.
- the explicit limit that we would not promote beyond 50% without the load test = limite explícito na decisão; trade-off registrado.
- Priya volunteered; deadline is end of next sprint = dono + prazo; ação vira rastreável.
Perguntas de compreensão
- What was the question the team wanted to answer?
- What did Lena ask Marcus to walk her through, and why?
- What was the result, and how did Marcus qualify confidence?
- What caveats did Marcus list, and why did they matter?
- How did Marcus propose to ship, and what guardrails did he add?
- Why did Marcus recommend treating the result as directional, not conclusive?
- Why did the team agree on an explicit limit of 50% without the load test?
- What would have been wrong with the sentence 'The new cache reduces p95 latency by 12%'?
- What is the role of comparing canary vs control metrics every hour?
Prática com a história
- Reescreva: 'A mudança reduziu latência.' (argumento B2)
- Reescreva: 'O deploy causou o incidente.' (anti-causalidade B2)
- Reescreva: 'Vamos economizar 50%.' (número com limite B2)
- Reescreva: 'Latency dropped 12%, done.' (argumento qualificado)
- Traduza: 'Eu trataria isso como direcional, não conclusivo.'
- Traduza: 'Não podemos concluir que escala para produção sem um teste de carga.'
Prática
Exercícios e teste
A próxima melhoria é transformar esses arquivos em perguntas com resposta no navegador. Por enquanto, esta página já organiza o estudo e permite seguir a aula inteira sem abrir os arquivos manualmente.