Como posso implementar testes A/B em um sistema novo?
Estou desenvolvendo uma ferramenta e gostaria de comparar os resultados de cada modificação, porém não tenho conhecimento prático de como implementar esse tipo de teste.
Stack Overflow em Português é um site de perguntas e respostas para programadores profissionais e entusiastas. Leva apenas um minuto para se inscrever.
Inscreva-se para participar desta comunidadeComo funciona A/B testing:
A/B testing requer uma massa de dados já recolhida para se tirar conclusões. Portanto, para um sistema novo não é possível concluir nada de imediato.
O processo consta de mostrar versões levemente diferenciadas da mesma coisa para usuários distintos (de forma aleatória), e verificar qual é a ação tomada. Não é para exibir as duas versões ao mesmo tempo.
Assim sendo se constrói uma tabela em que cada registro possui:
O identificador da variação exibida.
O identificador da ação tomada pelo usuário.
A partir daí é só fazer uma análise para ver se o diferenciação possui alguma relevância ou não.
Se a diferenciação entre as versões for muito grande fica difícil saber o que realmente causou a diferença comportamental, ou seja, diferenciações pequenas fazem o resultado se tornar mais preciso.
Quanto maior massa de dados, mais preciso será o teste.
O público alvo tem que ser bem especificado, pois a variação de comportamento pode diferir, por exemplo, de uma cultura para a outra.
É necessário deixar bem definidos quais são os comportamentos que estão sendo medidos, e obviamente ter como obter e registrar qual foi a ação do usuário... quanto maior a precisão da medida melhor. Um exemplo, é entre clicar e não clicar em uma propaganda. Para registrar um não clique é preciso fazer isso no momento que a propaganda é exibida, se o usuário clicar o registro deve ter seu resultado alterado para indicar que o clique ocorreu.
É possível alterar a proporção de exibições aleatórias, mas o resultado do teste terá que ser balanceado com as mesma proporções
É possível que os resultados mudem com o horário do dia, ou então com outras variáveis sazonais, então é necessário tomar cuidado com isso, e determinar se existem variáveis externas, e quais são elas
O teste A/B é usado quando se tem duas opções de implementação que são igualmente válidas. Por exemplo: Se durante a fase de desenvolvimento de uma página web (e-commerce) a sua equipe acredita que a colocação do botão [Comprar] ficaria tão bom ao lado da imagem do Produto quanto próximo a descrição do Produto. Neste caso seria interessante usar o teste A/B para saber em qual das duas situações se obtém melhores resultados. Duas versões seriam criadas e os resultados coletados e comparados. Neste caso você poderia deixar a página durante o mesmo período de tempo e verificar qual resultou em mais vendas. Este teste é usado quando temos duas boas soluções e estamos em dúvida em qual adotar. Normalmente não é feito para todas as modificações do sistema. Se sua equipe estiver em dúvida sobre uma modificação ou outra, é melhor deixar que os usuários decidam através deste teste.