Outro dia me contaram sobre um teste AB que foi realizado num grande site e não melhorou a usabilidade do site. O teste trocava uma lista de cidades para selecionar uma por uma em uma caixa com autocomplete. As pessoas procuraram tudo menos cidades na caixa e o teste AB falhou. Isso me fez pensar sobre o quanto algumas decisões não fazem sentido de serem tomadas devido a média de quem acessa um produto.

Otimizar o texto de um botão, para conseguir mais cliques e aumentar as vendas, um ótimo AB, com métricas claras de sucesso e fácil de fazer. Agora decidir se a cor do site vai ser azul, roxa, lilás, vai da preferência de cada um, nunca teremos um consenso. E se tivermos, talvez não seja o que os responsáveis pelo produto queiram. Teremos a média da cor esperada para um determinado tipo de serviço. Mas não queremos que cor, design, arquitetura, arte, código, sejam definidos pela média. Às vezes, precisamos – às vezes, devemos ousar.

Apesar de todos termos um discurso forte sobre inovação, melhoria contínua, uso de dados para otimizar processos, se ficarmos olhando apenas para o que a média quer (e em processos estatísticos sempre haverá uma média) não faremos nada inovador, será mais do mesmo – o que todos, na média, dizem querer: ser iguais a tantos outros produtos. Ignorar um teste AB que não converteu, mas que sabemos que melhora a vida do usuário, é um jeito de inovarmos, de afirmarmos que queremos aquilo dessa forma.

Precisamos aprender a interpretar os dados, ler nas entrelinhas deles, decidir o que queremos – e aqui, muitas vezes é uma decisão individual sim, também pode ser de um pequeno time, mas nunca será um consenso entre a empresa inteira. Tomar decisões é difícil, em qualquer assunto, mas precisamos saber dizer sim para o que vemos valor e não para o que sabemos que não será proveitoso. Algumas pessoas não ficarão satisfeitas com nosso posicionamento e isso faz parte do viver em sociedade, não iremos agradar a todos.

Vamos continuar com nossos ABs, mas precisamos entender que eles falham e representam a média do nosso público. Diferentes públicos terão diferentes resultados para um mesmo teste. Temos que balancear os testes com nossa crença intrínseca de que aquilo irá funcionar melhor. Ousar para inovar.

Imagem de capa gerada por IA.