Enquanto a maioria das ferramentas de análise é criada para lidar com informação quantificada, são muitas vezes os dados não estruturados que fornecem o contexto e o significado necessário para transformá-los em informação útil

Por: Katherine Noyes

Ouça a maioria dos conselhos que circulam no mercado de tecnologia hoje e a sua empresa terá que se desculpar pela falsa crença de que  “Big Data” contém todas as respostas que está procurando. Pena que, muitas vezes, a maioria das empresas não sobreviva até que essa promessa se realize – pelo menos, não na forma tradicional do Big Data.

Acontece que o que é comumente referido como Big Data – todas aquelas vastas “lagoas” de dados numéricas capturados pelos sistemas de gestão e relacionamento, como o ERP e o CRM, bem como outros sistemas de negócios, a serem mineradas por ferramentas de análise – equivale realmente a apenas 10 por cento dos dados que uma empresa média tem ao seu alcance, de acordo com a IDC.

O resto é composto por dados “desestruturados” ou dados “qualitativos”, que podem ser bem confusos. Eles incluem informações de pesquisas de clientes, formulários de resposta, fóruns on-line, mídia social, documentos, vídeos, reportagens, telefonemas para call centers e evidências anedóticas recolhidas pela equipe de vendas, para citar apenas alguns exemplos. São tipicamente textuais, em vez de numéricos, e difíceis de serem “quantificados” ou transformados em valores numéricos.

E é aí que reside o problema. Enquanto a maioria das ferramentas de análise é criada para lidar com informação quantificada, são muitas vezes os dados não estruturados que fornecem o contexto e o significado necessário para transformá-los em informação útil.

“Muitas vezes, os dados podem levantar mais perguntas do que dar respostas, e há sempre uma questão, um porque, por atrás das tendências de dados quantitativos”, afirma Anjali Lai, analista da Forrester Research. “Dados qualitativos podem fornecer essa visão contextual.”

Imagine que a sua empresa esteja tentando entender por que as vendas online não estão tão bem quanto você gostaria que estivessem. Você pode investir pesadamente em ferramentas de análise e de marketing  que gerem mais dados baseados nas atividades dos clientes, tais como quanto tempo gastam na página Web ou as taxas médias de abandono dos carrinhos de compras, por exemplo. Ainda que volumosos, esses dados, não vão necessariamente fornecer indícios do “porque” que você tento precisa.

“Você pode saber que você tem 10 mil visitantes únicos no seu site – que é um dado quantitativo”, explica Collin Sebastian, diretor de produto para YouEye, que oferece software e serviços projetados especificamente com dados desestruturados em mente. “Mas só as ferramentas qualitativas poderão dizer que quatro mil deles vieram atrás de um tema específico, que esperavam aprender, depois de debaterem a respeito.”

Dados qualitativos podem ir além da identificação de correlações entre pontos. Podem revelar, por exemplo, que as pessoas que passam mais tempo no seu site também tendem a fazer compras. E podem começar a identificar relações causais, ou que respondam a perguntas específicas. Por exemplo: será que as pessoas fazem compras porque elas gastaram mais tempo em seu site, ou ficaram mais tempo simplesmente porque o processo de compra do site é pesado?

“Um CMO gere hoje, em média, 14 painéis de controle”, diz Sebastian. “É um caso de paralisia da análise: tenho 10 milhões de pontos de dados que tentam responder minha perguntas, de 17 maneiras diferentes, mas me falta algum contexto que lhes dê significado.”

Historicamente, a análise de dados qualitativa tende ser muito manual e intensiva em recursos humanos. “Você não pode simplesmente enviar uma consulta de banco de dados para um documento e obter alguns números de volta.e enviá-los para uma ferramenta de visualização”, explicou Kirk Borne, principal cientista de dados da Booz Allen Hamilton.

As análises de dados qualitativos têm sido tipicamente limitadas, como resultado, mas isso está começando a mudar. Não só existem mais ferramentas e pacotes concebidos especificamente para trabalhar os dados qualitativos, como também têm surgido “formas cada vez mais inteligentes de transformar os dados qualitativos em dados quantitativos, desencadeando assim o poder completo de análises quantitativas sobre os dados qualitativos também”, diz Borne.

YouEye realiza estudos on-line através de áudio e vídeo para gravar como os usuários interagem com os sites dos clientes, anúncios ou outros materiais. Normalmente, entre 50 e 300 usuários são selecionados para cada estudo, dependendo do que o cliente espera aprender. O vídeo é transcrito e codificado usando uma combinação de decupagem humanos, processamento de linguagem natural e aprendizagem de máquina. No final do processo, os clientes obtêm exemplos para ilustrar os resultados.

No caso de um fornecedor de café, por exemplo, “analisamos interações com o produto e terminamos com um vídeo que mostrava todos as vezes que os participantes mencionaram um concorrente”, diz Sebastian. “Essa análise causal de clientes sobre por que você está perdendo participação de mercado é algo que os dados quantitativos não vão fornecer.”

A QSR International é outra empresa que faz software adaptado especificamente para analisar dados qualitativos. Seu produto, NVivo, é usado pelo Gallup. Embora mais conhecido por suas pesquisas de opinião, o Gallup também ajuda organizações a compreenderem os aspectos emocionais de suas relações com os seus clientes, o envolve a análise de lotes de dados qualitativos.

Como usar dados qualitativos
“Há algumas questões-chave de pesquisa que não são adequadamente capturadas por métodos quantitativos sozinhos, incluindo por que um cliente está ativamente desengajado ou indiferente em relação a um fornecedor ou os sentimentos, motivações e processos de pensamento de como os clientes experimentam um serviço”, afirma Ilana Ron- Levey, consultora, pesquisadora e estrategista do Gallup. “Quando fazemos parceria com uma organização, dados quantitativos nos permite avaliar a amplitude de opiniões, mas os dados qualitativos são essenciais para compreendermos o significado por trás de determinadas frequências e distribuições”, diz ela.

O Gallup utiliza uma variedade de técnicas para avaliar a percepção dos clientes. Em um recente projeto B2B, por exemplo, envolvendo 100 clientes de nível sênior entrevistados face-a-face, foram coletados dados qualitativos e quantitativos sobre temas centrados em torno de envolvimento do cliente.  A equipe analisou os dados qualitativos indutivamente usando a NVivo, bem como métodos de codificação manual usando planilhas Excel.

Nos resultados, o Gallup usou as respostas quantitativas para explicar estatisticamente os drivers de envolvimento do cliente. E os dados qualitativos para descrever como esses drivers foram sentidos pelos clientes. A partir daí, “desenvolvemos estratégias para melhorar o envolvimento por tipo de cliente”, diz ela.

O trabalhando com dados qualitativos usando software passa muitas vezes por dar a eles forma numérica, como uma classificação ou pontuação para as respostas ou os comentários qualitativos específicos. Na análise de sentimento, por exemplo, o pesquisador normalmente atribui um valor positivo ou negativo para o sentimento que está sendo expresso nos dados qualitativos, e, em seguida, atribui um valor numérico para saber a evolução desse sentimento em dada período de tempo, Borne observou.

Análise de texto envolve resumos de informações textuais de maneira quantitativa, via modelos de tópico e mapas de calor, enquanto linguagem natural e técnicas de processamento semântico ajudam a extrair significado da linguagem, escrita ou verbal.

Transformar dados qualitativos em forma quantitativa pode envolver algumas decisões subjetivas. “Isso é um desafio, mas também é uma rica oportunidade”, observa Borne. “Há muito mais sutilezas e complexidades na linguagem que podem ser usadas para extrair uma compreensão mais profunda e mais fina de nuances de significado.”

Uma variedade de algoritmos estão presentes no NVivo, analisando palavras ou frases comumente usadas, por exemplo. Inúmeras ferramentas de visualização estão à disposição para tornar a interpretação mais fácil, incluindo nuvens de palavras e mapas de árvores.

“Isto nos dá formas de visualização de pontos de vista e as razões subjacentes”, afirma John Owen, CEO da empresa.

Onde e como coletar
A coleta de dados qualitativos tende a ser demorada e requer um alto nível de habilidade do pesquisador para estabelecer relacionamento com os entrevistados e mitigar algum viés, explica Ron-Levey, da Gallup.

“Uma das habilidades mais subestimadas e frequentemente esquecida que o pesquisador qualitativo precisa ter é sentimento de empatia”, concorda Lai, da Forrester. “Muitas vezes, pesquisadores qualitativos confiam apenas em codificação. sem pensar criticamente sobre o subtexto ou contexto dos dados.”

Trabalhar com os dados e validar o modelo de pesquisa também pode ser mais complicado. O suficiente para normalizar um conjunto de dados quantitativos em uma escala de zero a um, por exemplo, pode ser insuficiente com dados qualitativos, Borne observou.

“Testes estatísticos padrão podem funcionar como testes de hipóteses, Mas dada uma hipótese versus outra não vai funcionar quando há muitas nuances de significado e muitos graus de entendimento incorporados nos dados qualitativos”, explica.

Do lado da análise, pode ser tentador a generalização dos resultados para além da amostragem fixada em estudo, adverte Ron-Levey.

Bem feita, no entanto, a análise dos dados qualitativos pode valer o esforço.

“Em uma época de Big Data, há uma busca contínua de significado humano por trás dos números”, afirma Ron-Levey. “Entender sentimentos, motivações e percepções muitas vezes leva à inovação e novas estratégias que aproxime mais a empresa de seus clientes.”

“Percepções quali e quanti são o yin e o yang da compreensão do cliente, porque ambos são necessários para contar uma história completa sobre o comportamento do consumidor”, comenta Lai, da Forrester.

Fonte: CIO

Texto original:
http://cio.com.br/tecnologia/2016/08/30/o-big-data-e-o-desafio-de-trabalhar-com-dados-qualitativos/