Experimentos científicos no mundo dos negócios

Experimentos científicos no mundo dos negócios

Crédito: Unsplash

O conceito de aprendizado é um que está espalhado em organizações de diversos tamanhos. O estímulo a experimentação é cada vez mais comum e é suportado por novas tecnologias que surgem a cada dia, a preços acessíveis e uma infinidade de recursos. Um assunto menos comum, no entanto, é o de experimentar usando métodos científicos. Qual sua importância no contexto de negócios e como isso ajuda a garantir a qualidade do aprendizado?

Há uma preparação de terreno anterior à execução de experimentos que, se neglicenciada, tem potencial para invalidar todo o trabalho subsequente e causar danos à organizações. Tais danos podem ser perdas financeiras, de clientes ou percepção de imagem da marca, para citar alguns. Preparar o terreno para experimentos significa essencialmente criar uma cultura de experimentação que permeie toda a organização. Cultura é a materialização dos valores e crenças de uma organização. No contexto de experimentos, cultura é a crença no aprendizado metódico e a prática de métodos científicos que possam justificar e replicar aprendizados. Este conceito é importante por algumas razões:

  • Se a organização não compra a ideia de testar antes de fazer, experimentos possuem chances maiores de surgir com certos viézes
  • Experimentos conduzidos sem o rigor científico estão mais sujeitos a intervenções não planejadas
  • Há a possibilidade de não haver consenso sobre o que esperar de resultado após um experimento
  • Aprendizados podem não ser propriamente administrados, registrados e disseminados pela organização
  • Questões técnicas de experimentos podem não ser propriamente endereçadas em uma etapa de preparação

Em suma, o experimento perde o sentido.

O chamado método científico é uma forma de aprendizado que se baseia na organização de processos de aprendizado com uma finalidade específica. O aprendizado metódico se dá em cima de um contexto conhecido, pode ser rastreável e o método usado é repetível com precisão. Realizar experimentos abraçando o rigor científico minimiza riscos associados e maximiza o retorno, independente de o resultado do experimento não ter sido aquele favorável para o negócio. Neste último caso, aprender que determinado tratamento não trouxe o ganho esperado significa que a organização não cometeu o erro de fazer uma mudança no negócio que resultaria em perdas.

A adoção da cultura de experimentação em organizações

Uma organização orientada a testes e experimentos possui como membros pessoas que norteiam suas decisões com base em aprendizados comprovados. Nada é feito sem antes passar por um processo de validação que suporte a tomada de decisão. Em contrapartida, organizações que tiveram e continuam tendo sucesso com decisões menos embasadas em dados podem não encontrar sentido na abordagem científica de testes, já que o negócio funciona bem há tantos anos. Ambos os tipos de organização baseiam suas decisões em dados, o que as diferencia é a quantidade de peso que é dado a um tipo de dado em especial: a experiência pessoal dos tomadores de decisão. Tenha como exemplo a imagem a seguir, da Marketoonist:

Highest Paid Person's Opinion

O chamado HiPPO, ou Highest Paid Person’s Opinion, é um profissional com poder de decisão dentro das organizações. Pode ser o CEO, um cliente ou o patrocinador de um projeto. Visto que muitas vezes esse profissional é experiente, é comum que ele confie bastante em suas experiências anteriores e no que acredita ser o caminho correto. Aí vem a dúvida: se negócios tradicionais funcionaram por tantos anos e continuam funcionando com os HiPPOs, por que então convencê-los de que a abordagem científica de experimentos é mais eficáz do que confiar na experiência? Duas razões são a assertividade nas decisões tomadas e maior retorno de investimento. Se trata de fazer investimentos em coisas que são desejadas e que tragam um retorno saudável para a organização.

A motivação para experimentos está por trás das necessidades dinâmicas do mundo externo à organização. A internet pode ser considerada o fenômeno mais visível do dinamismo do mundo atual. Ela permite que organizações escalem de uma forma sem precedentes na história e dá poder de barganha aos consumidores também nunca antes visto. Consequências disso são a demanda por produtos e serviços de alta qualidade, personalizados e disponíveis quando desejado. Entregar tais demandas se valendo dos modelos tradicionais de gestão de empresas e tomada de decisão se torna impraticável neste contexto, e não há experiência anterior que tenha preparado gerações de empreendedores para o que está acontecendo hoje. A melhor forma de atender as expectativas da população é conhecer suas características, desejos e necessidades para ofertar produtos e serviços de interesse. Considerando que há diversas formas de fazer isso e nenhuma forma de saber de antemão o retorno do investimento, esse aprendizado se dá mostrando provas de conceito para porções da população que permitam inferir o que toda a população de interesse pensaria à cerca do que está sendo posto a prova. Isso é experimentar. Adotar uma cultura de experimentação em uma organização começa com o entendimento do por quê experimentar em primeiro lugar. Além de entender a importância de experimentar, é necessário saber como fazer experimentos corretamente.

A adoção do método científico no processo de experimentação

Experimentar por si só não é garantia de sucesso. Não é muito melhor do que tomar decisões de forma aleatória ou confiar totalmente em experiências pessoais. A experimentação deve estar envolta em em um modelo de experimentação que prevê processos bem definidos, com entradas e saídas previstas. Entra a ciência por trás do experimento. Essa forma de aprendizado é emprestada de áreas acadêmicas, financeiras e médicas, praticada por cientistas e matemáticos estatísticos. O que muda na abordagem direcionada a negócios é que o rigor dado ao método é menor. Isso acontece porque no mundo dos negócios a informação precisa estar disponível rapidamente. Há uma troca entre velocidade da obtenção dos dados e da qualidade desses mesmos dados. Pense que testes na área da medicina, por exemplo, tratam diretamente com vidas. Neste contexto, um erro pode significar a morte de alguém e por isso a qualidade da informação possui um peso muito maior que o tempo de obtenção dos dados. Essa troca abre margem para erros no resultado de um experimento, mesmo que todos os procedimentos tenham sido feitos corretamente. Um método científico bem aplicado permitirá a re-execução do experimento nas mesmas condições do anterior e assim obter a informação definitiva. Considerando que sempre haverá margens de erro nos estudos, é importante ter a capacidade de replicá-lo para eliminar quaisquer dúvidas.

Um método científico bem definido possui ao menos as seguintes etapas:

  • Definição de hipóteses que determinem uma variável independente e uma variável dependente
  • Definição do tamanho do grupo de estudo e suas divisões
  • Configuração do experimento e garantia de qualidade
  • Execução e monitoramento do experimento
  • Análise exploratória dos resultados
  • Registro e disseminação dos aprendizados

Variáveis dependente e independente estão ligadas a ideia de causa e efeito. No mundo dos negócios, os ambientes para experimentação são caóticos: há infinitas variáveis que não podem ser controladas pela organização. Por este motivo, o método científico faz seu melhor para isolar apenas as variáveis de interesse para estudo. Uma variável dita independente, ou causa, é um fenômeno observado como a taxa de divórcios no estado de Maine ao longo dos anos ou o consumo de margarina per capta, por exemplo (já explico esses exemplos aparentemente estranhos). A variável dependente, ou efeito quantifica uma causa. Seguindo a linha dos exemplos anteriores, seria a quantidade de divórcios em Maine ou o tanto de margarina consumida. Um experimento consiste em ajustar o efeito para entender seu impacto na causa. Isolar as variáveis é importante para dar certeza de que efeito e causa estão relacionados, ou que há uma relaçao de causalidade.

Correlação não é causa

Executar um experimento é apenas uma parte do processo de aprendizado metódico, como mostrado. O aprendizado do experimento não está apenas no dado de retorno mas também em um estudo mais aprofundado sobre as motivações por trás dele. Ao finalizar um experimento e não explorar mais a fundo o porque dos dados gerados, potenciais oportunidades são perdidas ou interpretações errôneas são feitas, o que afeta a conclusão do estudo. Um dos problemas em dar um experimento como concluído sem uma análise aprofundada dos resultados é aceitar uma relação de causalidade que pode não existir. Para ilustrar o problema, considere o gráfico produzido pelo consultor de tecnologia Tyler Vigen:

Correlação entre número de divórcios e consumo de margarina per capta

Não usei exemplos estranhos ao contexto por acaso: quando projetadas em um mesmo plano, os efeitos ligados a essas duas causas se correlacionam. Lendo o gráfico é fácil interpretar que o consumo de margarina afeta a taxa de divórcios no estado de Maine. Uma leitura como essa pode trazer a conclusão de que a margarina faz mal para os casamentos. Embora haja correlação, esses eventos apenas coincidem, sem relação de causalidade. Entender a causalidade é fundamental para responder se as diferenças observadas em experimentos são fruto de indução de comportamento previsto ou se são causa de algum fator externo. Outro destes exemplos de correlação é a de ataques de tubarão e consumo de sorvete. O aumento de sorvete possui correlação com o aumento do ataque de tubarões. Embora seja fácil afirmar que sorvetes são malígnos, uma explicação mais apropriada é que a relação entre estas duas variáveis se dá pelo calor: em dias mais quentes as pessoas tomam mais sorvetes e em dias mais quentes as pessoas vão mais à praia, aumentando a probabilidade de serem atacadas por tubarões. A causalidade neste caso é com a variável calor, nesse caso conhecida como proxy, e não entre consumo de sorvete e ataque de tubarões.

Correlação entre variáveis não está associada a causa. A análise exploratória aprofundada dos dados obtidos no experimento é importante para explicar a relação entre as variáveis estudadas.

Gestão e disseminação do aprendizado

Experimentos são sobre aprender. Aprender de forma rápida e barata. O fruto de um experimento é uma informação que seja passível de uso para tomar decisões em larga escala. O que torna essa informação valiosa é sua confiabilidade: não só a informação é representativa da realidade do negócio, se colhida corretamente, mas é possível saber qual o nível de confiabilidade. Pela abordagem do método científico, esse conhecimento é disseminado e armazenado em formato apropriado em alguma base de conhecimento de acesso comum, bem como a forma como ele foi adquirido. Se o conhecimento é perdido ou seu acesso é restrito, o conhecimento sobre o negócio e seus clientes se perde ou se torna restrito. Algumas consequências disso são investir mais tempo e dinheiro para obter a mesma informação ou deixar passar potenciais oportunidades de negócio. Registrar e disseminar conhecimento democratiza a informação e empodera pessoas para que pensem em soluções juntas.

No fim, ciência e negócios andam de mãos dadas

Experimentos sem um propósito maior e sem uma abordagem científica tendem ao fracasso e não são muito melhores do que adivinhação ou sorte. Para que funcionem, experimentos precisam ser abraçados a nível organizacional, acreditados por todos na organização e executados com rigor científico que justifique seus resultados e permita auditorias. São infinitas as razões pelas quais experimentos podem falhar, mesmo que uma abordagem sistêmica tenha sido posta em prática. O desafio é mitigar o risco associado e diminuir a margem de erro ao máximo para ter informações confiáveis a prazos aceitáveis. A tomada de decisão ainda será feita, possivelmente por HiPPOs. A diferença está no embasamento dado a decisão, que tira o peso de decisões que não são baseadas em informações confiáveis. É importante frisar que experiência pessoal e sentimento em relação ao negócio são fontes de informação importantes, elas diferem uma abordagem dirigida a dados de uma orientada a dados. Ambas as abordagens são válidas e possuem seus casos de aplicação. No contexto de experimentos, o que acontece na prática é que o peso dado a experiência pessoal e ao sentimento são menores do que os dados coletados ao longo do estudo.

Leitura complementar

A Harward Business Review possui uma série de posts sobre experimentação e método científico no contexto de negócios. Um que destaco é a aplicação desses conceitos no mundo físico, especificamente em cadeias de lojas.

Bora experimentar!