Qualidade de dados nas organizações

Postado por DBC Company Em: Desenvolvimento, Tecnologia Sem comentarios

Vivemos a era dos dados, nunca se falou tanto sobre os dados, sua importância e aplicabilidade nas organizações. Ciência de Dados, BI, e Inteligência Artificial são área de conhecimento onde os dados são a matéria-prima básica para o seu funcionamento. A qualidade é uma premissa essencial neste ecossistema. O termo “qualidade de dados” visto num primeiro momento pode soar subjetivo, eu gosto da seguinte definição: qualidade de dados se refere a habilidade de entregar valor através dos dados para cumprir um propósito pretendido, isso significa dizer que um dado tem qualidade quando auxilia as empresas para atingir seus objetivos trazendo ganhos visíveis.

As organizações querem tomar decisões baseadas em dados e querem fazer isto usando os dados corretos, visto que, a informação passou a ser enxergada como um recurso e/ou um critério para produtividade. Contudo, obter qualidade é uma barreira a ser ultrapassada pelas organizações, de acordo com uma pesquisa realizada pelo Gartner em 2018 a baixa qualidade dos dados é responsável, em média, por $15 milhões de dólares por ano em perdas e é provável que isso piore, a medida que os ambientes de informação se tornam cada vez mais complexos. Em uma outra pesquisa realizada pela revista Alley em 2018 85% dos CEO’s disseram que não confiam totalmente na qualidade dos dados que possuem para tomada de decisões e que parte deste sentimento tem como origem os dados que são considerados ruins os quais geram um custo de até 25% de sua receita anual em vendas perdidas, produtividade ou má decisões. Quase um terço dos analistas gastam mais de 40% do seu tempo examinando e validando seus dados antes que possam ser usados para tomada de decisões estratégicas, os cientistas de dados gastam de 50% a 80% do seu tempo envolvido nesse trabalho mais “sujo” de preparar os dados, antes que possam ser explorados em busca de informações uteis, este contexto faz com que eles se sintam com desempenho prejudicado, tendo em vista o esforço despendido na etapa de validação segundo a revista Forrester em 2018.

A Targetdata  realizou uma pesquisa e mostrou que as organizações tratam os dados como prioridade, isso porque 88% das empresas possuem uma estratégia de uso dos dados implementadas ou pensam em se basear nos dados para tomadas de decisões, destas, 64% já atribuíram boa parcela do orçamento de TI para tal propósito. Além disto, 84% reconhecem dados como sendo uma parte integral da formação de suas estratégias de negócios, 39% dos que responderam a pesquisa afirmam que a principal razão para se ter qualidade em dados é a conquista de novos clientes. A maioria das organizações entrevistadas responsabiliza o fator humano como a principal causa de falha nos dados, 23% acreditam que seus dados de clientes e prospects estejam imprecisos de alguma maneira, formato ou forma, onde as principais causas de erros relatados foram dados incompletos ou faltantes (60%), informações não atualizadas (54%) e dados duplicados (51%).

Alcançar qualidade é um desafio que precisa ser tratado para que se possa extrair o melhor possível nos dados. De forma prática como isso pode ser realizado? De acordo com a literatura e com uma pesquisa de campo, elaborei um conjunto de ações que podem ser adotadas para minimizar os problemas relacionados aos dados.

Este é um conjunto de ações que aborda o engajamento da gestão na iniciativa de tratar das questões que envolvem qualidade de dados, construção de um planejamento e de uma equipe de qualidade, revisar os processos de negócio e a arquitetura de dados com o objetivo de definir métricas de avaliação de qualidade dados de acordo com as necessidades das áreas de negócio para que esse esforço possa trazer ganhos visíveis para quem utiliza os dados realização do processo de ETL, monitorar para garantir qualidade e avaliar se os resultados foram atingidos de acordo com as métricas de avaliação especificadas.

É um processo que deve ser cíclico e que pode ser melhorado ou ajustado de acordo com as particularidades de cada negócio. Não é obrigatório ter todas etapas e nem está restrito a adição de etapas que podem ser necessárias de acordo com cada contexto. O que é importante entendermos é que qualidade de dados é uma questão que afeta as organizações e que precisa ser tratada para que o negócio não seja impactado com uma visão limitada.

Por Lucas Kylder, Desenvolvedor de Sistemas na DBC Company

lucas.kylder@dbccompany.com.br

10 Likes