Teste A/B
Teste A/B é rodar duas versões de uma página ao mesmo tempo, mandando cada visitante para uma delas ao acaso, e comparar os resultados para ver se a diferença entre as versões realmente mudou o comportamento.
A aleatoriedade é o método inteiro. Comparar este mês com o mês passado compara dois conjuntos diferentes de visitantes em duas semanas diferentes; dividir um mesmo fluxo entre duas versões compara as versões e nada mais.
O resultado precisa de teste de significância antes de significar alguma coisa. Uma versão à frente por 12 conversões contra 9 está quase certamente à frente por acaso, e agir nisso é pior que não testar, porque parece evidência.
Duas exigências práticas são fáceis de errar: um visitante que volta precisa ver a versão que já viu, ou a comparação está medindo inconsistência; e as versões não podem ter cada uma sua URL indexável, ou o teste publicou conteúdo duplicado em silêncio.