https://media.blubrry.com/hipsterstech/content.blubrry.com/hipsterstech/hipsters_059_testes.mp3Podcast: Play in new window | Download | Embed RSS | More Compartilhar Assinar Testes A/B – Hipsters #59 29/08/2017 / design design & ux Podcast ux / 30 Comentários Será que um botão verde vende mais que um botão vermelho? Melhor testar e ver o que é real e o que é opinião! Mesmo assim não é fácil: tamanho de amostras, testes isolados e p-value aparecem para atrapalhar o trabalho de ux e do programador. Vamos desvendar! Participantes: Paulo Silveira, um host que curte especificações Sergio Lopes, o cohost frontender mais famoso do pedaço Guilherme Pedroso, dev front-end na Netshoes Andre Tagliati, da mesma equipe do Guilherme! Fabiana Guedes, UX Designer na Netshoes Links: Lind, framework para testes A/B do pessoal da Netshoes Como realizar testes A/B com Google Analytics, no blog da Caelum Não pare seu teste A/B cedo demais, também do blog da Caelum, pelo host deste humilde podcast! Artigos sobre os problemas de usar 0.05 ou até números menores como um p-value interessante, e o problema do p-hacking Artigos sobre os testes A/B no Airbnb e seus problemas de bias. Conteúdo dos criadores do podcast: Cursos de UX na plataforma online da Alura Bônus: tirinha do xkcd Produção e conteúdo: Alura Cursos online de Tecnologia Caelum Ensino e Inovação Edição e sonorização: Radiofobia Podcast e Multimídia Relacionado
Luiz Costa - 0 Ótimo podcast e muito explicativo, e com isso surgiram algumas dúvidas. Com o uso de teste A/B é uma boa prática fazer o uso de Continous Delivery? Em e-commerce eu acredito que o comportamento dos usuários sejam muitas vezes imprevistos e após escolher o item da primeira pergunta, essa modificação é monitorada e melhorada? Abs Responder
Rômulo Innocêncio - 0 Massa o episódio, para alguém como eu, que acho que nunca fiz um destes, é interessante os exemplos e experiências para que a gente posso saber por onde começar. O paulo, agora não se pronuncia mais “Abrupta” … agora é “ab-rupta” kkkkkkk, maldito acordo. Responder
Ednaldo Dilorenzo - 0 Eu gostei muito do podcast! Só não ficou claro pra mim se depois de validadas as hipóteses e decisões são tomadas baseadas nos resultados dos testes, se essas decisões se confirmam como tendo sido as melhores decisões. Isso por que pode ser que haja falha na formulação dessas hipóteses ou no número de amostras. Responder
Paulo Silveira - 0 Boa pergunta Ednaldo. Tem vezes que o pessoal volta atrás sim. Mas nao sei qual é o procedimento racional pra isso, depois que o teste foi aprovado e o resultado validado (mesmo que errado) Responder
guicamillo - 0 Isso é um assunto que me interessa bastante e tenho um certo conhecimento na área então posso dizer que são casos e casos Ednaldo e isso vai depender das métricas que cada empresa decide utilizar como proxy para tal. Pode ser sim que um teste X faça com que as vendas tenham um grande impulso, mas esse mesmo teste faz com que a taxa de reclamações/devoluções sejam também mais altas e isso não é algo que normalmente é levado em conta enquanto o experimento está sendo de fato rodado, visto que esses dados são mais difíceis de serem calculados em tempo real. E aí, como proceder? Algumas empresas decidem continuar analisando a eficiência de uma experiência mesmo depois de a hipótese ter sido validada, para ter certeza de que as vendas subiram em 5% mas as devoluções continuam na mesma taxa, por exemplo 🙂 Responder
Wagner Fernandes - 0 Pessoal, não seria mais interessante os links da potagem abrirem em outra aba não? Tenho mania de sempre abrir direto em outra aba, mas cliquei normal e acabei saindo do podcast sem querer. Responder
Paulo Silveira - 0 Wagner, é uma eterna discussão! Pessoal de UX costuma dizer que esse controle deve ser do usuario. vou ver se fazemos um plugin como o do jovemnerd Responder
Wagner Fernandes - 0 Faz um teste a/b! hahahaha eu entendo a crítica do pessoal do UX, mas nesse caso específico, eu não acho interessante, pois muitas vezes estou ouvindo o podcast e navegando entre os links postados, simultaneamente, o Youtube por exemplo, por default, abre em outra aba os links das descrições Responder
Luke - 0 É só clicar com o botão do meio no mouse (a rodinha). Funciona na maioria dos navegadores. Responder
Wagner Fernandes - 1 Sim, esse atalho é ótimo, só tem dois porém: nem todos sabem disso e não funciona em MacOS. Sinto muita falta desse atalho hahaha, no mac se não tiver o target blank só vai se for com o botão auxiliar, abrir em nova aba… Mas de toda forma isso é uma escolha do pessoal do podcast, foi apenas uma dica. Responder
Wagner Fernandes - 0 Funciona?! Eu não acredito que estou sofrendo a 4 anos sem isso! Tem que ativar algo? Pois aqui nunca funcionou, e até mouse já troquei…
guicamillo - 0 não lembro de nunca ter precisado de ativar nada. Se não tiver indo de cara, Command+Click funciona.
Wagner Fernandes - 0 O atalho funcionou perfeitamente! Muito bom saber disso! hahahaha obrigado!! Responder
William R. Fernandes - 0 Pessoa, muito bom o episódio da semana! Não querendo abusar da vontade do Guilherme e André, por acaso existe alguma gravação/palestra da utilização do Lind? Eu fiz toda configuração porém eu não entendi o que seria o Lind Dashboard. Lamento a burrice hehe! Responder
André Tagliati - 0 Nada de burrice Willian! Precisamos melhorar muitas coisas e algumas informações não ficaram claras realmente. Hoje não temos nada gravado mas já coloquei no nosso radar isso! O lind dashboard é pra você poder ver quais os testes estão cadastrados e forçar alguma variação. Digamos que eu tenha 3 testes diferentes e quero rodar o primeiro. No primeiro teste digamso que existam 2 variações e eu quero ver a primeira variação. No lind dashboard eu veria todos os testes configurados e suas variações podendo assim escolher exatamente o que quero ver rodando no site. Quando ele está ativado aparece como uma bolinha no canto direito inferior ( com a logo do lind ) Responder
Lucas Palma Stabile - 0 Lembro de um episódio do NerdTech que vcs comentam sobre testes A/B na mudança de thumbnails dos vídeos do Jovem Nerd no YouTube. Mesmo com um pessoal falando que não gostavam tanto dos novos formatos foi o formato que ficou, provavelmente gerava mais views ou likes. Interessante que o teste A/B pôde ser usado neste caso também. Responder
Paulo Silveira - 0 pois é. esse caso de thumbnail em youtube é bem famoso e não apenas com o nerdoffice! Responder
Welton Vaz de Souza - 0 Muito obrigado por mais um episódio muito bem feito e interessante. Quero agradecer tá, porque depois de ficar desempregado por 8 meses, consegui uma oportunidade numa startup, através dos conhecimentos apreendidos no Podcast e como aluno do Alura. Responder
Raphael Gallotti Frantz - 0 @peasilveira:disqus esqueceu o link q vc tinha comentado, sobre o AirBnB ?? :/ Responder
David Paniz - 0 Bem relacionado com o final do episódio: porque a StickerMule parou de fazer testes A/B https://www.stickermule.com/blog/hidden-costs-of-AB-testing Responder
Yukio - 0 @peasilveira:disqus vocês pensam em expandir Data Science/Estatística na Alura (vi poucos cursos)? Ou foge muito do que vocês buscam? (Eu sempre sou o chato do Data Science, mas é que a gente se empolga haha) Responder
