Você provavelmente não tem tráfego para teste A/B
Todo conteúdo sobre conversão termina com a mesma recomendação: teste tudo. Para a maior parte dos negócios pequenos, esse conselho não é discutível, é inexecutável. E seguir ele pela metade é pior do que não seguir.
A resposta direta
Se a sua página recebe menos de alguns milhares de visitas por mês, você não consegue rodar um teste A/B que conclua alguma coisa num prazo em que a resposta ainda seja útil. Não é falta de ferramenta e não é falta de disciplina. É aritmética.
O problema é que a ferramenta vai te mostrar um vencedor mesmo assim. Ela sempre mostra. E é aí que a decisão errada entra disfarçada de decisão baseada em dados.
Fazendo a conta com números reais
Para saber de quanta gente um teste precisa, são necessários três números: a sua taxa de conversão atual, o tamanho do efeito que você quer conseguir enxergar, e o quanto de erro você aceita.
Como ponto de partida realista da taxa atual, dá para usar o maior levantamento público que existe:
6,6%
é a mediana de conversão de landing pages considerando todos os setores. A própria fonte avisa que isso é ponto de partida e não meta, porque o número varia muito por segmento e por tipo de conversão.
Agora o tamanho do efeito. Suponha que você queira detectar uma melhora de 20% relativos, ou seja, sair de 6,6% para cerca de 7,9%. Isso já é uma melhora grande para uma mudança de página.
Aplicando a aproximação conhecida como regra de 16, que estima o tamanho de amostra por variação para 95% de confiança e 80% de poder estatístico:
| Melhora que você quer detectar | Visitas por variação | Visitas no total |
|---|---|---|
| 50% relativos (6,6% para 9,9%) | ≈ 900 | ≈ 1.800 |
| 20% relativos (6,6% para 7,9%) | ≈ 5.700 | ≈ 11.400 |
| 10% relativos (6,6% para 7,3%) | ≈ 22.600 | ≈ 45.300 |
Traduzindo para tempo. Um negócio local com 800 visitas por mês na página levaria:
- Cerca de 2 meses para detectar uma melhora de 50%, que é enorme e raríssima.
- Cerca de 14 meses para detectar uma melhora de 20%.
- Cerca de 4 anos e meio para detectar uma melhora de 10%.
Por que o resultado muda toda semana
Existe uma armadilha pior que a demora, e ela pega gente experiente: olhar o teste todo dia e parar quando aparece "significativo".
Um teste em andamento entra e sai de significância estatística sozinho, por flutuação. Se você confere diariamente e encerra na primeira vez que o painel fica verde, você não descobriu um vencedor. Você esperou o acaso produzir um, e ele produz.
É por isso que o tamanho de amostra precisa ser calculado antes de começar, e o teste precisa rodar até lá, mesmo que fique bonito no meio do caminho. Quem para cedo transforma a ferramenta numa máquina de confirmar o que já queria fazer.
Significância estatística é uma conta, não um retrato da realidade. Ela responde "isso poderia ser sorte?", e nunca responde "isso vai continuar valendo?".
Some a isso uma coisa que quase ninguém menciona: com amostra pequena, mesmo um resultado tecnicamente significativo pode estar descrevendo um punhado de visitantes atípicos daquela semana, e não o seu público.
O que fazer no lugar
A conclusão útil não é "desista de melhorar a página". É trocar o método por um que funcione no seu volume. Com pouco tráfego, pesquisa qualitativa vence estatística, porque ela não depende de quantidade.
Teste com cinco pessoas
Pegue cinco pessoas parecidas com o seu cliente, que nunca viram a página. Peça para cada uma fazer uma tarefa real, do tipo "descubra quanto custa e como pedir", e fique calado enquanto elas tentam. Anote onde travam.
Cinco pessoas não provam nada estatisticamente e não precisam provar. Elas revelam problemas de usabilidade, e problema grave de usabilidade costuma aparecer já nas primeiras pessoas. É o método mais barato que existe e o mais ignorado.
Gravação de sessão
Assistir a vinte gravações reais de gente usando a sua página costuma ser mais esclarecedor que três meses de teste inconclusivo. Você vê onde a rolagem para, onde o dedo tenta clicar em algo que não é botão, e em que campo o formulário é abandonado.
Corrigir o defeito óbvio
Boa parte das páginas pequenas tem um problema tão grande que testá-lo seria desperdício de tempo: preço escondido, telefone que não é clicável no celular, texto ilegível sobre foto, página que demora a abrir no 4G. Não teste isso. Conserte.
Vale lembrar de onde a atenção realmente fica quando alguém abre a sua página:
57%
do tempo de visualização acontece acima da dobra, e cerca de 74% nas duas primeiras telas. Depois disso a atenção cai bruscamente.
Se a informação que decide a venda está na terceira tela, você não tem um problema de conversão para testar. Tem um problema de ordem para arrumar.
Ler o que as pessoas perguntam
Toda dúvida que chega no seu WhatsApp é uma falha da página. Se cinco pessoas perguntaram se você atende aos sábados, a resposta não está clara. Essa é a lista de melhorias mais barata e mais confiável que existe, e ela já está no seu celular.
Quando o teste A/B passa a valer
Vale quando o volume sustenta. Olhando a tabela lá de cima, uma página com alguns milhares de visitas mensais já consegue medir efeitos moderados em prazo razoável. Até chegar lá, três regras ajudam:
- Calcule a amostra antes de começar e escreva a data de encerramento. Sem isso o teste vira leitura de sorte.
- Teste duas versões, nunca cinco. Cada variação a mais divide o tráfego que você já não tem.
- Teste mudança grande. Trocar a cor de um botão exige amostra enorme. Trocar a proposta inteira da página produz efeito que você consegue enxergar.
E a saída mais honesta: em vez de otimizar a conversão de um tráfego pequeno, muitas vezes o movimento certo é aumentar o tráfego primeiro. Dobrar visitas costuma ser mais fácil, mais rápido e mais valioso do que arrancar 10% de conversão de uma amostra que não permite medir 10%.
Perguntas frequentes
Quantos visitantes eu preciso para um teste A/B?
Depende da sua taxa atual e do tamanho do efeito que você quer detectar. Partindo de uma conversão de 6,6%, detectar uma melhora de 20% relativos exige aproximadamente 5.700 visitas por variação, cerca de 11.400 no total. Para detectar 10%, o número sobe para cerca de 45 mil. Quanto menor o efeito que você quer enxergar, maior a amostra necessária.
Posso parar o teste assim que ele der significativo?
Não. Um teste em andamento entra e sai de significância por flutuação natural, então parar na primeira vez que o painel fica verde produz vencedores falsos com frequência alta. O tamanho de amostra precisa ser definido antes de começar, e o teste precisa rodar até alcançá-lo.
Meu site tem 100 visitas por dia. Consigo testar alguma coisa?
Cerca de 3.000 visitas mensais permite detectar apenas efeitos grandes, na faixa de 30% ou mais, e ainda assim levando alguns meses. Para mudanças pequenas, não. Nesse volume, teste com cinco usuários e gravação de sessão entregam mais informação útil, e entregam em uma semana.
Teste A/B com pouco tráfego é sempre inútil?
Não é inútil, é limitado a um tipo de pergunta. Ele funciona para mudanças radicais, como duas propostas de página completamente diferentes, porque o efeito esperado é grande. Ele não funciona para ajuste fino de texto, cor ou posição de botão, que é justamente o uso mais comum e mais recomendado por aí.
O que é efeito mínimo detectável?
É a menor diferença que o seu teste consegue distinguir de ruído, dado o tamanho da amostra. Ele é definido antes do teste, junto com o cálculo de amostra. Se o efeito real for menor que ele, o teste vai concluir que não houve diferença mesmo quando houve.