Muitas vezes, a significância estatística não causa uma boa primeira impressão, principalmente para quem tem pouca familiaridade com o universo digital. Apesar da denominação um tanto singular, essa metodologia de análise tem justamente como principal objetivo reduzir com as dúvidas e receios de profissionais sobre os resultados de campanhas. Ainda está um pouco confuso? Vamos exemplificar.
Imagine que você fez um teste A/B para decidir qual versão de layout usar no seu e-commerce. Ao final da fase de avaliação, percebeu uma variação de 92% na conversão do layout A para o layout B. Em cálculos, há 92% de chance que você realmente tenha uma versão campeã. Mas, e os outros 8%?
São esses 8% que podem desqualificar todos os seus resultados, ou seja, existe 8% de chance do seu resultado ser mera coincidência. Sabe por quê? Caso você publique um teste A/A, versões iguais do layout vencedor, também há probabilidades de uma converter mais que a outra. Há uma probabilidade de 8% disso acontecer!
A significância estatística, então, é uma forma de medir a diferença entre as taxas de conversão de versões distintas da mesma campanha/página, a fim de conferir se o resultado alcançado não foi apenas aleatório. Através desse cálculo, você diminui os riscos de determinar resultados que não condizem com a realidade, aumentando a precisão da sua estratégia.
Significância Estatística + CRO
A significância estatística faz parte de um conceito importante do CRO (Otimização de Conversão). Não podia ser diferente, até porque, o teste A/B, a experiência do usuário e as métricas são considerados os elementos principais do CRO. E, de alguma forma, todas essas concepções compõem o propósito de calcular a significância.
CRO é um trabalho fundamental para aumentar a taxa de conversão anual e melhorar os resultados da sua empresa, propondo soluções concretas com base em dados e quebrando ou, até mesmo, reforçando as ideias criadas por achismos.
Cálculo
Para realizar o cálculo, antes vamos entender um pouco sobre a fórmula de “tamanho do efeito”, uma forma de calcular a porcentagem de aumento ou diminuição em conversões entre diferentes versões. Em outras palavras, o quanto a taxa de conversão aumentou ou diminuiu em comparação com a versão original e nova. O cálculo do tamanho do efeito é: nova taxa – taxa anterior / taxa anterior x 100.
Antes de colocar seu teste para rodar, é essencial descobrir a significância estatística. Afinal, ela pode te ajudar a prever o quanto tempo a campanha deve estar no ar até você encontrar a melhor versão. Sua fórmula, entretanto, é bem mais complexa que a de tamanho do efeito, por isso existem calculadoras online que você pode utilizar sem grandes dificuldades.
Os resultados do estudo podem variar de “não significante” até “extremamente significante”. Tudo depende do valor de P, a probabilidade de significância. Se o valor de P for menor ou igual a 0,05, entende-se que há uma margem de apenas 5% de erro. De uma outra perspectiva, 95% de chance de essa ser a versão ideal.
Desta forma, valores igual ou abaixo de 0,05 são “não significantes”. Para garantir a significância estatística do seu teste A/B, o primeiro passo é determinar a amostragem do seu teste. Quanto maior for sua amostra, mais alta será sua significância.
Antes de criar suas hipóteses e aplicar a significância estatística, é importante ter em mente que há outras variáveis para serem analisadas além dessa. Imagine, por exemplo, a decisão de escolha entre o produto A ou produto B para entrar em promoção. Apesar da diferença estatística significante para o produto B, o custo alto de produção e o baixo estoque acabam por fazer do produto A uma opção mais interessante a ser selecionada.
Então, se você quer tomar decisões mais precisas e consistentes, é imprescindível que entenda o poder da significância estatística. Desta forma, há mais chances de alcançar os resultados que deseja, diminuindo os riscos de posteriormente eles não atenderem a sua expectativa. Entretanto, para além dessa metodologia, é necessário considerar diversos fatores que podem impactar na sua decisão. Por isso, antes de executar testes tenha todos os dados em mãos!
