Aprenda as quatro etapas para projetar um teste A/B que maximize a receita em ciência de dados. Descubra como definir seu objetivo, escolher suas variantes, determinar o tamanho e a duração da amostra e analisar seus resultados.

Conduct experiment sizing to determine sample size of each experiment variant. For example: To conduct experiment sizing required to determine statistical significance to increase signup rate for a SAAS product. You can start by: Determining the current signup rate. This will be your baseline conversion rate. Set a minimum detectable effect (MDE). This is the smallest change in signup rate that you want to detect with stat sig. Then choose a statistical power level. Finally, You can use an online sample size calculator to calculate the required sample size by entering: Baseline conversion rate Minimum detectable effect Statistical power level Significance level (alpha) Run your experiment & collect data until you reach that sample size.

Como você pode projetar um teste A/B que maximize a receita?

Alimentado por IA e pela comunidade do LinkedIn

O teste A/B é um método poderoso para comparar duas versões de um produto, recurso ou design e medir seu impacto em um resultado específico, como receita. No entanto, projetar um teste A/B que maximize a receita não é tão simples quanto jogar uma moeda e escolher o vencedor. Você precisa considerar vários fatores, como o tamanho da amostra, a duração, as métricas e a análise, para garantir que seu teste A/B seja válido, confiável e acionável. Neste artigo, você aprenderá a projetar um teste A/B que maximiza a receita em quatro etapas.

Principais especialistas neste artigo

Selecionados pela comunidade a partir de 3 contribuições. Saiba mais

1 Defina seu objetivo

O primeiro passo é definir o seu objetivo e como você vai medi-lo. Seu objetivo deve ser específico, mensurável, alcançável, relevante e limitado no tempo (INTELIGENTE). Por exemplo, seu objetivo pode ser aumentar a receita média por usuário (ARPU) em 10% no próximo trimestre. Sua métrica deve estar alinhada com sua meta e refletir o impacto na receita do seu teste A/B. Por exemplo, sua métrica pode ser o ARPU ou a taxa de conversão de uma determinada ação, como comprar uma assinatura ou adicionar um item ao carrinho.

Adicione sua opinião

Deepak Saldanha

Experienced Data Science & Analytics Professional | ML | Cloud Deployment | 2x Microsoft Certified
(editado)
Denunciar contribuição
When designing an A/B test with the goal of maximizing revenue, it's crucial to select the North Star metric that directly correlates with an increase in revenue for your specific problem. For instance, if you are comparing the effectiveness of two recommender systems to retain customers for a subscription service, and revenue generated is measured by evaluating the ability of these recommenders to retain customers at the end of the freemium period each quarter, then using the retention rate as the NSM would be a suitable choice.

Traduzido

Gostei

2 Escolha suas variantes

O segundo passo é escolher suas variantes e atribuí-las a diferentes grupos de usuários. Suas variantes são as duas versões do produto, recurso ou design que você deseja comparar. Por exemplo, suas variantes podem ser dois layouts diferentes da página de destino ou dois planos de preços diferentes. Você deve ter uma hipótese clara sobre como cada variante afeta sua métrica e por quê. Por exemplo, você pode hipotetizar que um layout mais simples aumentará a taxa de conversão porque reduz a carga cognitiva dos usuários. Você também deve decidir como dividir seus usuários em dois grupos: o grupo de controle e o grupo de tratamento. O grupo de controle verá a versão original do seu produto, recurso ou design, enquanto o grupo de tratamento verá a nova versão. Você deve atribuir aleatoriamente seus usuários a cada grupo para evitar qualquer viés ou fatores de confusão.

Adicione sua opinião

Anamika Bharali

Data Scientist @ Veeco Instruments | MS Computer Software Engineering-Northeastern University | Ex-Amazon | GHC
Denunciar contribuição
The selection of variants should be driven by well-founded hypotheses. It's not about random changes but about strategic alterations that are expected to have a positive impact on revenue. Each variant should be designed with a clear rationale in mind, grounded in user behavior or psychology. Example: In an e-commerce site, the hypothesis is that moving the "Add to Cart" button to the top of the product page will boost revenue. This strategic change is grounded in user behavior psychology, aiming to capitalize on quick purchase decisions. However, assigning users randomly to control and treatment groups is essential to eliminate bias and obtain reliable results.

Traduzido

Gostei

3 Determine o tamanho e a duração da amostra

O terceiro passo é determinar o tamanho e a duração da amostra. O tamanho da amostra é o número de usuários que você precisa incluir em cada grupo para detectar uma diferença estatisticamente significativa entre suas variantes. Sua duração é o tempo que você precisa para executar seu teste A/B para coletar dados suficientes. Ambos os fatores dependem do seu nível desejado de confiança, poder e tamanho do efeito. Confiança é a probabilidade de que seu resultado não seja devido ao acaso. Poder é a probabilidade de que seu teste detecte uma diferença, se ela existir. O tamanho do efeito é a magnitude da diferença entre suas variantes. Você pode usar calculadoras ou fórmulas online para estimar o tamanho e a duração da amostra com base nesses parâmetros. Você também deve considerar a sazonalidade, a variabilidade e o tráfego esperado do seu produto, recurso ou design.

Adicione sua opinião

Tobe M.

Data Science & AI/ML Consultant, Advisor, Instructor & Mentor | Founder | Public Speaker | Growth, Product & Marketing Analytics Expert
(editado)
Denunciar contribuição
Conduct experiment sizing to determine sample size of each experiment variant. For example: To conduct experiment sizing required to determine statistical significance to increase signup rate for a SAAS product. You can start by: Determining the current signup rate. This will be your baseline conversion rate. Set a minimum detectable effect (MDE). This is the smallest change in signup rate that you want to detect with stat sig. Then choose a statistical power level. Finally, You can use an online sample size calculator to calculate the required sample size by entering: Baseline conversion rate Minimum detectable effect Statistical power level Significance level (alpha) Run your experiment & collect data until you reach that sample size.

Traduzido

Gostei

4 Analise seus resultados

O quarto passo é analisar seus resultados e tirar conclusões. Você deve usar testes estatísticos, como testes t ou testes z, para comparar os valores médios de sua métrica entre seus grupos e calcular o valor de p. O valor de p é a probabilidade de observar uma diferença tão grande ou maior do que a observada se não houvesse diferença na realidade. Você deve comparar o valor de p com seu nível de significância predefinido, que geralmente é de 0,05 ou 5%. Se o valor de p for menor que o nível de significância, você pode rejeitar a hipótese nula e concluir que há uma diferença estatisticamente significativa entre suas variantes. Você também deve calcular o intervalo de confiança, que é o intervalo de valores que contém a diferença verdadeira com uma certa probabilidade. O intervalo de confiança dá uma ideia da incerteza e da precisão da sua estimativa. Você também deve considerar o significado prático, que é a relevância e o impacto da diferença em seus objetivos e decisões de negócios.

Adicione sua opinião

5 Veja o que mais considerar

Este é um espaço para compartilhar exemplos, histórias ou insights que não se encaixam em nenhuma das seções anteriores. O que mais gostaria de acrescentar?

Adicione sua opinião

Ciência de dados

+ Siga

Classificar este artigo

Criamos este artigo com a ajuda da IA. O que você achou?

É ótimo Não é muito bom

Denunciar este artigo

Ver todos

Como você pode projetar um teste A/B que maximize a receita?

1

2

3

4

5

1 Defina seu objetivo

2 Escolha suas variantes

3 Determine o tamanho e a duração da amostra

4 Analise seus resultados

5 Veja o que mais considerar

Ciência de dados

Classificar este artigo

Agradecemos seu feedback

Outros artigos sobre Ciência de dados

Leitura mais relevante

Como você pode projetar um teste A/B que maximize a receita?

1

2

3

4

5

1 Defina seu objetivo

2 Escolha suas variantes

3 Determine o tamanho e a duração da amostra

4 Analise seus resultados

5 Veja o que mais considerar

Ciência de dados

Classificar este artigo

Agradecemos seu feedback

Conhecer outras competências