Testes A/B – Hipsters #59

Será que um botão verde vende mais que um botão vermelho? Melhor testar e ver o que é real e o que é opinião! Mesmo assim não é fácil: tamanho de amostras, testes isolados e p-value aparecem para atrapalhar o trabalho de ux e do programador. Vamos desvendar!

Participantes:

Links:

Conteúdo dos criadores do podcast:

Bônus: tirinha do xkcd

Produção e conteúdo:

  • Alura Cursos online de Tecnologia
  • Caelum Ensino e Inovação

Edição e sonorização: Radiofobia Podcast e Multimídia

Leave a Reply

30 Comentários

  1. Luiz Costa

    Ótimo podcast e muito explicativo, e com isso surgiram algumas dúvidas. Com o uso de teste A/B é uma boa prática fazer o uso de Continous Delivery? Em e-commerce eu acredito que o comportamento dos usuários sejam muitas vezes imprevistos e após escolher o item da primeira pergunta, essa modificação é monitorada e melhorada? Abs

  2. Rômulo Innocêncio

    Massa o episódio, para alguém como eu, que acho que nunca fiz um destes, é interessante os exemplos e experiências para que a gente posso saber por onde começar.
    O paulo, agora não se pronuncia mais “Abrupta” … agora é “ab-rupta” kkkkkkk, maldito acordo.

    • Paulo Silveira

      opa! vou ser desses velhos que falam à moda antiga 😛

  3. Ednaldo Dilorenzo

    Eu gostei muito do podcast! Só não ficou claro pra mim se depois de validadas as hipóteses e decisões são tomadas baseadas nos resultados dos testes, se essas decisões se confirmam como tendo sido as melhores decisões.

    Isso por que pode ser que haja falha na formulação dessas hipóteses ou no número de amostras.

    • Paulo Silveira

      Boa pergunta Ednaldo. Tem vezes que o pessoal volta atrás sim. Mas nao sei qual é o procedimento racional pra isso, depois que o teste foi aprovado e o resultado validado (mesmo que errado)

    • Isso é um assunto que me interessa bastante e tenho um certo conhecimento na área então posso dizer que são casos e casos Ednaldo e isso vai depender das métricas que cada empresa decide utilizar como proxy para tal.

      Pode ser sim que um teste X faça com que as vendas tenham um grande impulso, mas esse mesmo teste faz com que a taxa de reclamações/devoluções sejam também mais altas e isso não é algo que normalmente é levado em conta enquanto o experimento está sendo de fato rodado, visto que esses dados são mais difíceis de serem calculados em tempo real. E aí, como proceder?

      Algumas empresas decidem continuar analisando a eficiência de uma experiência mesmo depois de a hipótese ter sido validada, para ter certeza de que as vendas subiram em 5% mas as devoluções continuam na mesma taxa, por exemplo 🙂

  4. Wagner Fernandes

    Pessoal, não seria mais interessante os links da potagem abrirem em outra aba não? Tenho mania de sempre abrir direto em outra aba, mas cliquei normal e acabei saindo do podcast sem querer.

    • Paulo Silveira

      Wagner, é uma eterna discussão! Pessoal de UX costuma dizer que esse controle deve ser do usuario. vou ver se fazemos um plugin como o do jovemnerd

      • Wagner Fernandes

        Faz um teste a/b! hahahaha eu entendo a crítica do pessoal do UX, mas nesse caso específico, eu não acho interessante, pois muitas vezes estou ouvindo o podcast e navegando entre os links postados, simultaneamente, o Youtube por exemplo, por default, abre em outra aba os links das descrições

    • Luke

      É só clicar com o botão do meio no mouse (a rodinha). Funciona na maioria dos navegadores.

      • Wagner Fernandes

        Sim, esse atalho é ótimo, só tem dois porém: nem todos sabem disso e não funciona em MacOS.
        Sinto muita falta desse atalho hahaha, no mac se não tiver o target blank só vai se for com o botão auxiliar, abrir em nova aba…
        Mas de toda forma isso é uma escolha do pessoal do podcast, foi apenas uma dica.

          • Wagner Fernandes

            Funciona?! Eu não acredito que estou sofrendo a 4 anos sem isso! Tem que ativar algo? Pois aqui nunca funcionou, e até mouse já troquei…

          • Henrique Zanini

            aperta command e depois no link.. já abre em outra aba!

          • não lembro de nunca ter precisado de ativar nada. Se não tiver indo de cara, Command+Click funciona.

        • Wagner Fernandes

          O atalho funcionou perfeitamente! Muito bom saber disso! hahahaha obrigado!!

  5. William R. Fernandes

    Pessoa, muito bom o episódio da semana! Não querendo abusar da vontade do Guilherme e André, por acaso existe alguma gravação/palestra da utilização do Lind? Eu fiz toda configuração porém eu não entendi o que seria o Lind Dashboard. Lamento a burrice hehe!

    • André Tagliati

      Nada de burrice Willian! Precisamos melhorar muitas coisas e algumas informações não ficaram claras realmente.
      Hoje não temos nada gravado mas já coloquei no nosso radar isso!
      O lind dashboard é pra você poder ver quais os testes estão cadastrados e forçar alguma variação.
      Digamos que eu tenha 3 testes diferentes e quero rodar o primeiro. No primeiro teste digamso que existam 2 variações e eu quero ver a primeira variação.
      No lind dashboard eu veria todos os testes configurados e suas variações podendo assim escolher exatamente o que quero ver rodando no site.
      Quando ele está ativado aparece como uma bolinha no canto direito inferior ( com a logo do lind )

      • William R. Fernandes

        Muito obrigado! Ficou bem claro agora, valeu André!

  6. Lucas Palma Stabile

    Lembro de um episódio do NerdTech que vcs comentam sobre testes A/B na mudança de thumbnails dos vídeos do Jovem Nerd no YouTube. Mesmo com um pessoal falando que não gostavam tanto dos novos formatos foi o formato que ficou, provavelmente gerava mais views ou likes. Interessante que o teste A/B pôde ser usado neste caso também.

    • Paulo Silveira

      pois é. esse caso de thumbnail em youtube é bem famoso e não apenas com o nerdoffice!

  7. Welton Vaz de Souza

    Muito obrigado por mais um episódio muito bem feito e interessante. Quero agradecer tá, porque depois de ficar desempregado por 8 meses, consegui uma oportunidade numa startup, através dos conhecimentos apreendidos no Podcast e como aluno do Alura.

  8. Raphael Gallotti Frantz

    Elucidativo! Excelente o conteúdo, parabéns time Caelum/Alura!

  9. Raphael Gallotti Frantz

    @peasilveira:disqus esqueceu o link q vc tinha comentado, sobre o AirBnB ?? :/

  10. @peasilveira:disqus vocês pensam em expandir Data Science/Estatística na Alura (vi poucos cursos)?
    Ou foge muito do que vocês buscam?
    (Eu sempre sou o chato do Data Science, mas é que a gente se empolga haha)

Next ArticleStartups, Ecommerce e Deploys - Hipsters #60