A liberdade está nos dados

No último post, falamos sobre o papel da ficção na evolução humana e entendemos como nossa própria mente pode nos levar ao engano.

Logo, ao nos depararmos com o conceito de Fake Numbers, ficou claro que precisamos vigiar nossas heurísticas e vieses para sermos tão assertivos quanto possível.

Seja para debater com os colegas, tomar decisões de investimento ou fazer escolhas políticas, não podemos tratar nossa capacidade analítica com descaso ou seremos sumariamente enganados.

Com o indiscutível protagonismo dos dados na Era Pós-Digital, nossa capacidade de interpretá-los se torna essencial. Caso contrário, nos tornaremos reféns daqueles que os detêm.

O post de hoje traz alguns insights e ferramentas que podem nos garantir alguma liberdade.

Teoria…

“O amor à liberdade significa buscar todas as fontes que a tornem possível – da santidade de nossas famílias e a riqueza de nosso solo, ao gênio de nossos cientistas.”

Dwight D. Eisenhower

Ter conhecimento dos vieses da mente humana é o primeiro passo. Porém, ainda não é suficiente. Precisamos adotar um esforço consciente para superá-los e aprender a distinguir a realidade da ficção.

Isso não quer dizer que devemos tratar toda e qualquer informação como mentirosa e que não existe diferença. Por exemplo, entre jornalismo sério e propaganda: “Nenhum jornal está livre de vieses e erros, mas alguns fazem um esforço honesto de descobrir a verdade, enquanto outros são uma máquina de lavagem cerebral.”

Segundo Yuval Noah Harari, é exatamente por isso que precisamos verificar com cuidado nossas fontes de informação preferidas. O historiador israelense nos oferece duas regras gerais:

• Primeira: se você quer uma informação confiável – pague por ela. Se obtiver suas notícias gratuitamente, talvez o produto seja você.
• A segunda regra geral é que se algum assunto parece ser importante para você, faça o esforço de ler literatura científica relevante sobre ele.

Obviamente, a ciência também tem suas limitações. Ainda assim, “a comunidade científica tem sido nossa fonte mais confiável de conhecimento, durante séculos.”

Por isso, ao avaliar algum estudo, verifique se tratam-se de artigos avaliados por pares, livros publicados por editoras acadêmicas bem conhecidas, textos de professores de instituições respeitáveis.

Além disso, para que pesquisas tenham validade, verifique se os princípios básicos dos experimentos científicos estão presentes:

• Hipótese causal – para que se tenha uma variável independente (causa) e uma ou mais variáveis dependentes (efeito).
• Grupos de teste e controle – para que se veja a diferença entre quem está e quem não está exposto ao estímulo.
• Participantes escolhidos ao acaso – para que nenhum fator externo influencie os resultados do grupo de testes.
• Tamanho da amostra com validade estatística – para que as diferenças medidas prevaleçam sobre a influência de flutuações fortuitas.
• Testes cegos – para evitar o efeito Hawthorne, em que os participantes influenciam, sem intenção, os resultados do experimento.

David L. Rogers, no livro Transformação Digital

Dessa maneira, você aumentará sua imunidade ao erro e estará cada vez mais apto a desmascarar os fake numbers.

Precisamos, agora, avançar mais um passo, não podemos nos satisfazer apenas com a teoria. Esses princípios não são exclusivos de pesquisadores e cientistas renomados.

Você mesmo pode (e deve) adotá-los para fazer suas próprias análises e se libertar de uma vez por todas da tirania da informação.

… e prática

“Se você acha que a comunidade científica está errada quanto a alguma coisa, isso é bem possível, mas pelo menos conheça as teorias científicas que está rejeitando e apresente alguma evidência empírica que sustente sua alegação.”

Yuval Noah Harari

Conhecer um bom método, baseado em princípios científicos, já lhe coloca em uma posição privilegiada em um mundo inundado por dados.

Mas, na prática, as coisas são sempre um pouco mais complexas. Por isso, vamos discutir algumas situações e variáveis que podem prevenir distorções.

Use o bom viés

Gerenciar heurísticas e vieses não significa que devemos ignorar nossa intuição e descartar qualquer conclusão que nossa mente nos ofereça.

Precisamos desenvolver a consciência de que podemos estar enganados e vigiar esses atalhos, porém, o lado humano continua sendo essencial.

Daniel Goleman, autor do livro Foco, traz uma contribuição interessante sobre esse tema. Segundo seu relato, em uma conferência do MIT sobre dados, um palestrante observou que a crise financeira de 2008 em diante foi uma falha de método.

“O problema é que os modelos matemáticos incorporados em grandes volumes de dados são simplificações“, afirmou o palestrante.

Apesar dos números animadores que os dados produzem, a matemática por trás desses números depende de “modelos e suposições, que podem enganar aqueles que os utilizam, fazendo-os depositar confiança demais em seus resultados.”

Como consequência, Rachel Schutt, estatística sênior do Google Research, observou que a ciência de dados exige mais do que habilidades matemáticas:

“Também é necessário alguém que tenha uma ampla curiosidade e cuja inovação seja guiada por suas próprias experiências – não apenas por dados. Afinal, a melhor intuição demanda imensas quantidades de dados, produtos de toda a nossa experiência de vida, e filtra esses dados através do cérebro humano.”

Analisar dados é reconfortante para pessoas de mente quantitativa, mas, para que os dados sejam utilizados adequadamente, devemos ir além dos cálculos e compreender o que os números estão dizendo.

É fácil esquecer, por exemplo, que muitas vezes os dados dizem respeito às ações de seres humanos reais. Josh Kaufman ilustra muito bem essa situação no livro O Manual do CEO:

“Imagine um departamento de atendimento ao cliente que recebe reclamações por telefone. Numericamente, parece ótimo reduzir tempos de espera de 10 para 8 minutos – isso equivale a 20%.

Deixe o champanhe de lado: o que o ponto de vista centrado em dados não percebe é o fato de que você ainda tem um cliente insatisfeito esperando 8 minutos na linha, o que continua parecendo uma eternidade.”

Curiosidade, paixão, criatividade, intuição e empatia são apenas algumas das variáveis humanas que podem enriquecer qualquer análise. Sempre as valide, nunca as ignore!

Persiga a honestidade analítica

“- Quantas pernas um cachorro teria se você chamasse o rabo de perna?

– Quatro. Chamar uma rabo de perna não faz dele uma perna.”

Abraham Lincoln

Precisamos ter cuidado, a linha entre o bom viés e a mera interferência é tênue.

Essas variáveis humanas nos ajudam a definir hipóteses que nenhum sistema informatizado seria capaz. Porém, para serem válidas, precisam deixar de ser hipóteses para se converterem em fatos, caso contrário, não passam de ruído.

Esse ruído é o que podemos chamar de viés do analista.

Kaufman diz que como criaturas sociais, tendemos, por exemplo, a nos preocupar muito com a percepção dos outros em relação a nós.

Se o seu objetivo for ser visto como alguém capaz de melhorar as coisas, essa tendência pode ser um obstáculo na coleta de dados precisos e na condução de uma análise útil.

Outras variáveis pessoais também podem gerar ruído como, por exemplo, ideologia, referências, pressa, apego a alguma ideia ou, até mesmo, o medo de errar.

Para evitarmos o viés do analista precisamos mensurar e analisar os dados fria e objetivamente:

“A melhor maneira de manter a honestidade analítica é certificar-se de que suas mensurações sejam avaliadas por alguém que não tenha nada a perder. Não olhe os seus dados por meio de lentes cor de rosa: busque sempre ser honesto em relação às melhorias sugeridas pelos dados.”

Josh Kaufman

Quem já administrou um site, blog ou trabalhou com marketing digital conhece um ótimo exemplo de honestidade analítica.

Ao analisar o tráfego em uma página, logo aparece um grande número de visualizações feitas por robôs que varrem a internet para os mais diversos fins.

Para muitos, é difícil excluir esses números, pois isso significaria admitir que o número real de visitantes é muito menor do que mostra a ferramenta de análise.

Assim, a avaliação de performance, a experimentação, as campanhas e os investimentos são baseados em dados “sujos”, resultando em decisões ruins e, consequentemente, prejuízo.

Considere o cenário ampliado

“Não é o que você não sabe que o prejudica. É o que você sabe, mas não é bem assim”.

Will Rogers

O viés humano nos leva a boas hipóteses, e a honestidade analítica as valida. Porém, como vimos no post Análises Levianas, não podemos deixar de considerar o cenário ampliado das análises caso queiramos que elas sejam relevantes.

Veja o que diz, por exemplo, Thomas Piketty, um dos mais comentados economistas da atualidade, no livro O Capital no século XXI:

“Sejamos francos: a economia jamais abandonou sua paixão infantil pela matemática e pelas especulações puramente teóricas, quase sempre muito ideológicas, deixando de lado a pesquisa histórica e a aproximação com as outras ciências sociais.

Segundo Piketty, a maioria dos economistas está preocupada, acima de tudo, “com pequenos problemas matemáticos que só interessam a eles“. Dessa forma, poderiam “evitar ter de responder às perguntas mais complicadas feitas pelo mundo que os cerca“.

A crítica é dura e você pode não concordar com as teorias de Piketty, porém, aqui temos duas mensagens importantes:

1. Até os mais renomados estudos econômicos podem sofrer do viés do analista.
2. Ignorar o mundo e suas variáveis, realmente, não parece uma boa maneira de conduzir um análise.

Teorias que só funcionam em ambientes controlados, eliminando toda a complexidade que nos cerca, podem servir a outros propósitos, mas não deveriam ser referências para compreendermos o mundo real.

O problema é que em nossa tentativa contínua de extrair sentido de tudo, algumas histórias distorcidas acabam moldando nossas visões do mundo e expectativas para o futuro.

Nassim Taleb, no livro A lógica do cisne negro, chama esse conceito de falácia da narrativa:

“As histórias explicativas que as pessoas consideram atraentes são simples; são mais concretas do que abstratas; atribuem papel maior ao talento, estupidez e intenções do que à sorte, e focam antes em uns poucos eventos notáveis ocorridos do que nos incontáveis eventos que deixaram de ocorrer.“

Pense no exemplo do Google, que também discutimos em um post anterior, e é apresentado aqui por Daniel Kahneman.

Na maioria dos relatos de sua história, temos a sensação de que entendemos o que tornou o Google um sucesso. Acreditamos que aprendemos uma valiosa lição geral sobre o que leva alguém a ser bem-sucedido nos negócios:

“Infelizmente, há um bom motivo para acreditar que sua sensação de compreender e aprender com a história do Google é em larga medida ilusória.

Nenhuma história sobre o improvável sucesso da Google será capaz de incluir a tríade de eventos que teriam causado um desfecho diferente.

A mente humana não lida bem com não eventos.

O fato de que muitos dos importantes eventos que realmente ocorreram envolvem escolhas, constitui uma tentação ainda maior para que você exagere o papel da capacidade e subestime o papel que a sorte desempenhou no resultado.”

Daniel Kahneman

É difícil incluir a variável sorte em uma história tão bem-sucedida.

Porém, considere, por exemplo, que se os fundadores do Google tivessem alcançado o sucesso em sua tentativa inicial de vender a empresa por menos de 1 milhão de dólares, provavelmente não estaríamos falando sobre eles, independente de toda a sua capacidade.

O que devemos questionar, portanto, não é o mérito de Larry Page e Sergey Brin, mas, sim, a nossa capacidade de aprender com essa história.

A falta de pensamento sistêmico nos dá uma falsa sensação de entendimento – ou a ilusão da compreensão como batizado por Kahneman – que afeta nossa capacidade de decisão nos mais diversos cenários.

Para Daniel Goleman, as principais falhas empresariais ocorrem justamente quando líderes implementam uma estratégia para resolver um problema, mas ignoram a dinâmica pertinente ao sistema.

Josh Kaufman sugere tentarmos a seguinte regra simples: “não analise isoladamente nenhuma medida, sempre as analise em contexto com outras”.

Conheça estatística

“Tudo o que pode ser destruído pela verdade deveria ser destruído pela verdade.”

P. C. Hodgell

Ao considerar o cenário ampliado, você estará mais perto da verdade. Porém, com o aumento do volume de dados e variáveis que isso acarreta, o conhecimento estatístico se faz ainda mais importante.

Normalmente, torcemos o nariz quando falamos de estatística. Mas quem leu o post até aqui sabe o quanto é importante superarmos esse preconceito e nos debruçar nos números.

Por isso, vamos abordar alguns conceitos básicos que podem servir de impulso para aprimorarmos nossa capacidade analítica, além de nos ajudar no combate aos Fake Numbers.

Correlação é diferente de causalidade

Imagine que você inaugure um pub e lance uma promoção que se repetirá toda quarta-feira. Logo no primeiro dia de campanha, você observa aumento de 30% em relação aos outros dias da semana.

A primeira reação é atribuir a causa desse crescimento à sua promoção e considerá-la um sucesso. Afinal, existe uma correlação muito clara: nos dias de promoção as vendas aumentaram.

Porém, você esqueceu de considerar outros aspectos. Um deles, muito óbvio: quarta-feira é dia de jogo e a procura por bares é maior.

Além disso, o bar preferido da vizinhança fechou para reforma, o primeiro dia de promoção caiu bem no quinto dia útil e ainda fez um baita calorão naquele dia.

Duas semanas depois, você repete a promoção na terça-feira e nada acontece. Até nas quartas-feiras o resultado já não é tão bom assim.

O exemplo ilustra um erro estatístico clássico. Portanto, lembre-se: a mera existência de correlação entre variáveis não é suficiente para se comprovar uma causa.

Ausência de evidência não é uma evidência de ausência

O melhor exemplo para ilustrarmos esse conceito é o de Abraham Wald, um judeu expulso pelos nazistas que auxiliou o exército americano com suas análises matemáticas.

A sua mais famosa contribuição foi no aprimoramento da blindagem dos aviões da Segunda Guerra Mundial. Havia um problema: os componentes da blindagem eram pesados demais, então, não seria possível blindar todo o avião.

A tarefa de Wald era definir em quais partes do avião a blindagem seria mais necessária. Após avaliarem diversas aeronaves que voltavam de suas missões com muitas marcas de tiro, a equipe percebeu que a maioria atingia a fuselagem e poucos atingiam o motor.

Não havia, portanto, evidências de que a área do motor deveria ser blindada e essa foi a proposta dos analistas.

Foi então que Wald alertou o exército americano que, na verdade, não havia aviões com marcas de tiro no motor para análise, simplesmente, porque eles não voltavam da batalha.

Tenha sempre em mente: a falta de evidências não significa que elas não existam, pode ser que você ainda não as tenha encontrado.

A mediocridade da média

Uma das primeiras coisas que aprendemos em aulas de estatística é diferenciar a aplicação de média, mediana e moda. Mas também é a primeira coisa que ignoramos quando vamos para a prática.

Considere dois exemplos:

1. Considerando a amostra de clientes que entram em uma loja em determinado horário e dia da semana, temos os seguintes dados históricos: 2, 8, 10, 8 e 3. A média é 6,2. Se você determinar a capacidade de atendimento por esse número, e o fluxo continuar o mesmo, significa que você não vai acertar o dimensionamento uma vez sequer.
2. O patrimônio líquido médio de uma pessoa que lê o Wall Street Journal é de 1,7 milhões de dólares. Com essa afirmação, parece que os leitores do WSJ estão muito bem de vida, certo? Antes de responder, considere que Bill Gates e Warren Buffet leem esse jornal, e a riqueza deles é mensurada na casa dos bilhões. Pelo simples fato de existirem, pessoas de elevadíssimo patrimônio distorcem a média (Kaufman).

Portanto, se você utilizar a média para determinar o número de vendedores de uma loja ou quanto vale um leitor típico do WSJ, você estará cometendo um erro.

Nunca esqueça que Média, Mediana, Moda, Gama Média, entre outras, são ferramentas analíticas úteis, desde que você tome o cuidado de escolher a certa para cada finalidade.

Amostra ruim, conclusão pior

Para obtermos conclusões (outputs) significativas da análise de dados, é essencial que os inputs sejam válidos.

Em primeiro lugar, como vimos, certifique-se de que a fonte e a metodologia utilizadas para obtenção das amostras são confiáveis.

O segundo passo é verificar o seu tamanho. No que diz respeito à confiança analítica, é sempre melhor ter mais dados – colete as maiores amostras que puder.

(O intervalo de confiança é a probabilidade de uma determinada análise ser correta, vale a pena se aprofundar nesse conceito).

Outro ponto para se avaliar a qualidade de uma amostra é considerar que o desempenho do passado não garante o desempenho do futuro.

Para melhores resultados, reavalie periodicamente suas amostras, certificando-se de que elas continuem válidas. Dados também possuem data de validade.

Por último, separe o ruído. Considerar o cenário ampliado não significa incluir toda e qualquer variável em sua análise. Considere tudo o que pode lhe trazer respostas, mas nada além disso.

“A qualidade e a quantidade dos dados que coletar sobre o sistema representam um limite superior para a sua capacidade de entender o que acontece em um sistema em operação”,

Josh Kaufman

Para finalizar

Duvide da certeza, normalmente ela está enganada. Se alguém lhe disser que não tem dúvidas sobre um assunto, procure outras fontes.

Como um cientista, questione tudo para, eventualmente, diminuir a incerteza, nada além disso. Teoria e prática se unem nesse objetivo.

A partir de agora, ao fazer uma análise, avaliar um estudo ou pesquisar um assunto: (1) vigie seus atalhos mentais, (2) use o bom viés, (3) persiga a honestidade analítica, (4) considere o cenário ampliado e (5) conheça estatística.

Os fake numbers não terão chance contra você!

Referências: Transformação Digital, David L. Rogers, 2016. Foco, Daniel Goleman, 2013. Administração, Teoria e Prática, Antonio Cesar Amaru Maximiano, 2012. O Manual do CEO, Josh Kaufman, 2012. Rápido e Devagar, Daniel Kahneman, 2011. 21 Lições pra o Século 21, Yuval Noah Harari, 2018. O Capital no século 21, Thomas Piketty, 2013.