Dados não passam de uma perspectiva e eles podem atrapalhar a inovação

Tenho visto em vários artigos, eventos, livros e vários outros cantos sobre ser “Data-Driven”. É a moda do momento! Coitado de quem falar que tomou uma decisão sem ser data-driven… Agora todo mundo tem que tomar decisões assim.

“Você pode inovar ou você pode prever e medir o desempenho, mas não os dois. Qual vai ser, Mr. Businessman?” — Alan Cooper

Ninguém pode dizer que os dados não são úteis ou que eles não podem ter um impacto positivo em muitas decisões. Mas o conceito central da inovação é justamente sobre criar algo novo, e Alan Cooper, Engenheiro de Software, ilustra isso muito bem: “Você pode inovar ou você pode prever e medir o desempenho, mas não os dois. Qual vai ser, Mr. Businessman?”¹.
Você não deve se basear completamente em dados para tomar decisões

Criar produtos é uma combinação de arte e ciência. Por isso você não deve se basear completamente em dados para tomar decisões

Para tomar uma boa decisão, você analisa todas as perspectivas que são importantes para você e pesa elas de acordo com o seu julgamento para decidir. Criar produtos é se tornar um mestre em fazer isso! Você toma decisões diariamente. É uma combinação de arte e ciência. Por isso você não deve se basear completamente em dados para tomar decisões

Eu já cansei de ouvir várias pessoas dizendo que todas as decisões deveriam sempre ter o apoio de dados. O que elas não entendem é que os dados não passam de uma perspectiva. Ou seja, o que o Marketing está pedindo é só mais um ponto de vista, o que a maioria dos usuários pedem não é necessariamente o melhor, e o que você quer fazer como PM/Founder é só mais uma perspectiva.

Citando alguns exemplos:

Exemplo positivo: Se Apple fosse uma empresa totalmente orientada a dados eles com certeza teriam tentado dominar o mercado de PC. Esse vídeo mostra que isso nunca foi o objetivo da empresa.

Exemplo negativo: Se a Gol Linhas Aéreas fosse orientada ao consumidor, eles certamente iriam oferecer lanches melhores durante o vôo. Mas ao invés disso eles reduziram os lanches e, pior ainda, durante um período acabaram completamente com o lanche gratuito.

Se o seu objetivo é criar um produto que você se orgulha e que recomendaria para sua família e amigos, significa que muitas vezes você tem que ignorar os dados. Sim, ignorar os dados!

É claro que eu uso — e todo mundo deveria usar quando necessário — dados para tomar decisões. Mas também deveríamos confiar muito nos ciclos de feedback, nas pesquisas, nos testes, na empatia humana e, principalmente, na nossa intuição.

Eu seria um PM irresponsável se apenas tomasse decisões baseadas em dados quando eu tenho milhares de pessoas contando comigo para criar um bom produto. As vezes é necessário dizer um “Foda-se” para os dados em determinadas situações.

O viés que existe em todos os dados

Um grande problema é que muitas pessoas enxergam os dados quantitativos como mais confiáveis que os dados qualitativos. Mas, na verdade, qualquer tipo de dado (qualitativo ou quantitativo), seja ele apresentado numa forma que descreva o comportamento ou numericamente através de um grande data set, são criados através de viés e julgamento próprio.

Digo isso porque todos os dados são criados por algum ser humano. Esse ser humano, em algum momento, decidiu que tipos de dados usar, como organizá-los, como apresentar e como chegar numa conclusão. Existe um viés nesse processo todo — seja ele proposital ou não. Nós escolhemos os dados que nos convém e isso é um fato inegável².

Nós escolhemos os dados que nos convém e isso é um fato inegável

Dentro de qualquer empresa é comum ter várias áreas com pontos de vista diferentes — e isso só piora conforme a empresa fica maior. A partir disso são geradas uma série de demandas e o responsável pelo produto precisa gerenciar todas elas enquanto toma a difícil decisão de escolher qual atacar primeiro³.

O problema é quando as outras áreas da empresa possuem uma análise muito clara sobre o que precisa ser feito e uma série de dados apontam a favor dessas análises. Isso gera um desalinhamento e ninguém percebe que por trás de cada uma dessas análises existem incentivos por trás, dentre eles: responsabilidades funcionais, métricas de performance, incentivos financeiros e etc — ou seja, mais viés.

Antes mesmo de passar horas ou talvez dias analisando algum tipo de dado, você devia gastar a mesma quantidade de tempo, e talvez até mais, decidindo qual é o melhor tipo de dado e como organizá-lo — independente se você é de marketing, TI, comercial ou outra área. Quando é que nós devíamos acreditar nos dados e quando é que nós devíamos simplesmente ignorá-los porque é a decisão mais sensata?

Pode ter ficado fácil mensurar, mas e a parte não mensurável?

A maioria dos gerentes se preocupam apenas com os números ao invés de se preocuparem em resolver o problema

Empresas, quando bem estabelecidas, gerenciam os números. Conforme você vai crescendo mais métricas vão surgindo e mensurar uma série de coisas fica cada vez mais fácil. Como essas métricas são fáceis de serem comunicadas para o restante da empresa, é mais do que natural que elas sejam utilizadas para medir sucesso e, inclusive, performance de toda a hierarquia empresarial — isso acontece a partir dos desdobramentos das métricas e criação das metas. Dessa forma a maioria dos gerentes se preocupam apenas com os números ao invés de se preocuparem em resolver o problema⁴.

Mas não são só produtos que sofrem desse mal. um ótimo exemplo é o sistema de saúde do mundo inteiro. No nosso sistema de saúde os médicos geralmente tratam sintomas ao invés de encontrarem a raiz do problema. O sistema basicamente só funciona quando nós ficamos doentes, afinal as “métricas” que os médicos olham ficam malucas e eles conseguem saber se tem algo errado — e então trabalham para que essas métricas se estabilizem dentro dos padrões novamente. Isso é a mesma coisa que muitas empresas fazem, elas respondem só quando os dados mudam, se tornando reativas. Elas não atuam em cima dos dados qualitativos que são, na maioria dos casos, o maior insight que você tem para resolver o problema do cliente⁵.

É essencial ter estômago enquanto acontece a UX CurveQual é a pior coisa que pode acontecer se você olhar só para números de adoção ao lançar alguma coisa nova? Jogar no lixo um MVP altamente promissor.

As pessoas podem se tornar muito eficientes em usar um design ruim

Em toda grande mudança de comportamento é preciso lembrar que as pessoas podem se tornar muito eficientes em usar um design ruim. Então toda a vez que você mudar o comportamento do seu produto, mesmo sendo para melhor, essa mudança pode ser muito frustrante quando quebra um conjunto de hábitos — dai a importância da UX Curve.

Até então muitos estudos de UX se concentraram principalmente em entender a adoção inicial de alguns produtos e features através de protótipos ou até mesmo de MVPs. A ideia desses estudos é entender o comportamento do usuário para que seja compreendida a adoção inicial de novos produtos e funcionalidades.

O problema é que isso é uma análise de muito curto prazo dado que a relação entre o usuário e o produto acaba evoluindo ao longo do tempo⁶. É um erro encarar a primeira impressão como regra — afinal o uso prolongado de um produto faz toda a diferença.

Deveríamos ficar tão desesperados quando inovamos com o nosso produto e algumas métricas acabam caindo?

Então, se existe uma curva de aprendizado, deveríamos ficar tão desesperados quando inovamos com o nosso produto e algumas métricas acabam caindo? Não! Se você realmente acredita na nova funcionalidade você precisa ter estômago e aguentar até a curva amenizar. Enquanto isso você também pode ir iterando e otimizar o seu produto.Decisões NOT-data-driven

Ser data-driven é tentar compreender e quantificar o impacto das mudanças feitas no produto, significa que você precisa realmente se preocupar em compreender os números de cada iteração. O problema é acreditar que as decisões NOT-data-driven são inúteis.

Existe uma crença de que os dados podem, em conjunto, dar insights sobre os clientes. Teoricamente (sim, teoricamente!), para conseguir ter esses insights basta descobrir quais são os dados certos que precisam ser analisados, colocar numa planilha e pronto!

Mas, por outro lado, dados qualitativos não podem ser encaixados numa planilha de uma forma tão fácil como dados quantitativos. Principalmente porque não existe uma “verdade única” como os dados costumam apontar. Eu até entendo que é simplesmente mais fácil crer em dados quantitativos, mas olhar apenas para eles é um grande erro.

Tenho certeza que qualquer pessoa que esteja lendo esse artigo pode compreender a dor de um usuário quando um produto que ele usa muda. Os primeiros minutos geralmente são estranhos. Basicamente temos que nos adaptar e isso é inegavelmente frustrante. Por isso é muito natural ter que alterar o baseline dos produtos após algumas mudanças de comportamento.

Empresas maiores costumam tomar muito cuidado com os detalhes justamente por isso. Quanto maior a escala do seu produto mais lento você fica para esse tipo de tomada de decisão. E é por isso que produtos como o Booking.com e OLX não mudaram quase nada na última década. Já quando você compara com o Netflix dá para ver claramente a diferença entre inovação e gerenciar métricas⁷.

Data-driven para startups

Se você está entrando em um mercado bem definido, tentando criar disrupção, então você deve saber que o sucesso da sua empresa não será medido pela mesma métrica utilizada pelos grandes players. E, por isso, muitas vezes fica difícil saber quais dados deveriam ser analisados.

Isso é uma das coisas que mais me frustram com quem quer colocar os dados acima de tudo. Você pode fazer tracking de todos os links, mensurar todas as métricas e executar testes A/B para cada decisão, mas não importa o quanto você se aprofunde, não importa quantas horas você se dedique, você vai sempre estar olhando para apenas algumas peças do quebra-cabeça.

Não importa quantas horas você se dedique, você vai sempre estar olhando para apenas algumas peças do quebra-cabeça.

Para startups early stage é bem complicado ser data-driven — especialmente quando você está em “pre-product-market-fit” criando algo que não existe⁸. É quase impossível saber quais métricas você deve focar em otimizar. Claro que você precisa sempre estudar seu funil de signup, otimizar as landing pages e simplificar o onboarding, mas essa é a parte fácil. Tá cheio de receita de bolo por aí! O verdadeiro desafio é descobrir como transformar novos clientes em clientes que ficam com você no longo prazo. E as métricas para isso só surgem ao longo do tempo. Até lá você só tem duas opções 1) Seguir sem rumo; 2) Falar com os seus clientes. Acho que não preciso dizer qual é a melhor opção.

Conclusão

O tamanho da recompensa é, na maioria das vezes, proporcional ao risco que você assume. As vezes você só precisa estar disposto a dizer “Nós acreditamos nisso. Foda-se o que os dados dizem”.

Você precisa entender bem o seu cliente e por isso a empatia e intuição são super importantes — por isso acredito que criar bons produtos é uma combinação de arte e ciência. É claro que entrevistar usuários, observá-los, testar protótipos e fazer design sprint também geram dados. Mas poucas pessoas tem ciência disso — e as que tem costumam ignorar porque é bem mais fácil ficar olhando apenas para os dados que você consegue extrair rodando uma query.

Por isso você não deve se basear completamente em dados quantitativos para tomar decisões. Fazer com que os dados não forcem você a olhar apenas no curto prazo é um trabalho de constante vigilância e, em muitas empresas, de intervenções e batalhas políticas. Ser data-driven é bom, mas nunca podemos deixar de lado os ciclos de feedback, pesquisas e a empatia humana.

Agredecimentos especiais a Alex Killian (Fucking big thanks!), Marcelio Leal, Raphael Farinazzo, Renato Kovarish, Petrus Gomes, Thiago Pereira e Zalan Lima pelas revisões, feedbacks e correções.1. Alan Cooper: Mr Businessman Quote — You can innovate or you can predict and measure performance, but not both. Which will it be, Mr Businessman?

2. Algumas coisas simplesmente não são mensuráveis, como diria John F. Kennedy em um dos seus discursos mais memoráveis. E como algumas coisas não possuem métricas perfeitas para serem mensuradas, nós ficamos com o que é mensurável e fazemos os dados trabalharem a nosso favor. O que suporta isso é um estudo que comprovou que as áreas do cérebro que estão relacionadas a tomadas de decisão são ativadas bem antes de você decidir algo. Em outras palavras, seu cérebro toma decisões antes mesmo de você perceber. Esse fato, por si só, já cria viés em qualquer análise de dados. How Customers Think: Essential Insights Into the Mind of the Market, Gerald Zaltman, página 55.

3. A dificuldade de gerenciar um produto começa a aparecer quando você ganha tração porque existe aquilo que os fundadores querem criar, aquilo que os competidores já fazem, aquilo que os usuários querem, aquilo que o board/investidores acham que você tem que focar, aquilo que os maiores clientes estão querendo pagar e assim por diante. Um grade risco de criar um software Frankenstein. Falei sobre isso durante uma palestra que dei no Agile Brazil em 2015.

4. Em um mundo ideal todo mundo tem acesso a todas as informações e as decisões racionais são sempre baseadas nessas informações. Mas a teoria “Limitação da Racionalidade” criada por Herbert Simon e James March explica que a racionalidade de qualquer indivíduo é limitada por três dimensões: i) A informação disponível; ii) A limitação cognitiva da mente do indivíduo e; iii) O tempo disponível para a tomada de decisão — “Maps of bounded rationality: psychology for behavioral economics”. Daniel Kahneman (2003).

5. Já tem um tempo que queria escrever sobre esse assunto, mas após ler o livro do Clayton Christensen, Competing Against Luck, consegui consolidar melhor as ideias. O livro é uma leitura bem densa sobre Jobs To Be Done. E o próprio Clayton Christensen toca em alguns assuntos abordados aqui e fala sobre como é arriscado para inovação quando você é muito data driven. Você pode criar empresas que param no tempo se não focar no Job To Be Done.

6. UX Curve é um ótimo conceito sobre validação e ciclo de feedback. As vezes você precisa esperar a curva passar para começar a medir resultados de forma mais eficiente. O problema é saber quando a curva acaba e se o burn rate da sua empresa/produto aguenta ate lá. O artigo se chama UX Curve: A method for evaluating long-term user experience e foi publicado na Interacting with Computers em 2011.

7. As imagens falam por si só 🙂

8. O ideal é ler o livro Running Lean para entender bem o conceito de Product Market Fit e inclusive saber formas de encontrar o Market Fit. Mas para entender rapidamente o conceito indico essa resposta do Vikash Koushik no Quora: How do you define Product Market Fit

Leave a Reply

Your email address will not be published. Required fields are marked *

You may use these HTML tags and attributes:

<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>