Dados escuros

Dados escuros são dados adquiridos por meio de diversas operações de redes de computadores, mas que não são utilizados de forma alguma para gerar insights ou para a tomada de decisões. A capacidade de uma organização coletar dados pode exceder a capacidade de processamento com que consegue analisá-los. Em alguns casos, a organização pode nem mesmo estar ciente de que os dados estão a ser coletados. A IBM estima que aproximadamente 90% dos dados gerados por sensores e conversões analógico-digitais nunca são utilizados.

Num contexto industrial, os dados escuros podem incluir informações recolhidas por sensores e telemática.

As organizações retêm dados não identificados por uma infinidade de razões, e estima-se que a maioria das empresas analise apenas 1% dos seus dados. Frequentemente, estes dados são armazenados para fins de conformidade regulatória e para fins de registo. Algumas organizações acreditam que os dados não identificados podem ser úteis no futuro, assim que adquirirem tecnologias melhores de análise e inteligência de negócios para processar as informações. Como o armazenamento é barato, armazenar dados é fácil. No entanto, armazenar e proteger os dados geralmente acarreta custos (ou mesmo riscos) maiores do que o potencial retorno financeiro.

No discurso académico, o termo dados escuros foi essencialmente cunhado por Bryan P. Heidorn. Heidorn usa-o para descrever dados de investigação, especialmente da cauda longa da ciência (os muitos e pequenos projetos de investigação), que não estão ou não estão mais disponíveis para investigação porque desaparecem numa gaveta sem gestão de dados adequado. Sem isso, os dados tornam-se escuros, e outras razões para isso são, por exemplo, a falta de anotações de metadados, a falta de planos de gestão de dados e de curadores de dados.

Análise

O termo "dados escuros" refere-se frequentemente a dados que não são passíveis de processamento por computador. Por exemplo, uma empresa pode ter uma grande quantidade de dados que existem apenas como imagens digitalizadas de páginas. Mesmo o texto bruto nestes documentos não está disponível sem algo como o reconhecimento ótico de caracteres (OCR), cuja precisão pode variar bastante. Mesmo com o OCR, o significado de cada parte dos dados permanece desconhecido. Um exemplo óbvio é se uma palavra em maiúscula é um nome ou não e, em caso afirmativo, se representa uma pessoa, um lugar, uma organização ou até mesmo uma obra de arte. Referências bibliográficas e outras, dados em tabelas (que podem estar rotuladas adequadamente para humanos, mas não para processamento) e inúmeras afirmações representadas com toda a complexidade e ambiguidade da linguagem humana.

Muitos dados não utilizados são extremamente valiosos e seriam utilizados se pudessem ser; porém, estão bloqueados por estarem em formatos difíceis de processar, categorizar, identificar e analisar. Frequentemente, a razão pela qual as empresas não utilizam os seus dados escuros é a quantidade de recursos necessária e a dificuldade de analisá-los. Em outras palavras, os dados são "escuros" não porque não são utilizados, mas porque não podem ser utilizados (de forma viável ou acessível), dada a sua má representação.

Existem muitas representações de dados que podem tornar os dados muito mais acessíveis para automação. No entanto, uma grande quantidade de informações carece de qualquer identificação de itens ou relações; e muitas outras perdem-se durante a conversão "descendente", como salvar em formatos orientados a página, imprimir, digitalizar ou enviar por fax. O processo de recuperação "ascendente" pode ser dispendioso.

De acordo com a Computer Weekly, 60% das organizações acreditam que a sua própria capacidade de geração de relatórios de inteligência de negócios é "inadequada" e 65% afirmam ter "abordagens de gestão de conteúdos um tanto desorganizadas".

Relevância

Dados úteis podem tornar-se dados obsoletos após tornarem-se irrelevantes, caso não sejam processados com rapidez suficiente. Isto é chamado de "insights perecíveis" em "dados em fluxo contínuo". Por exemplo, se a geolocalização de um cliente é conhecida por uma empresa, ela pode fazer ofertas com base nessa localização; no entanto, se esses dados não forem processados imediatamente, podem tornar-se irrelevantes no futuro. De acordo com a IBM, cerca de 60% dos dados perdem o seu valor imediatamente.

Armazenamento

Segundo o New York Times, 90% da energia utilizada pelos centros de dados é desperdiçada. Se os dados não fossem armazenados, os custos de energia poderiam ser economizados. Além disso, existem custos associados à subutilização da informação e, consequentemente, à perda de oportunidades. De acordo com a Datamation, "os ambientes de armazenamento das organizações da EMEA consistem em 54% de dados obsoletos, 32% de dados redundantes, obsoletos e triviais e 14% de dados críticos para os negócios. Até 2020, isto pode representar um custo de armazenamento e gestão de US$ 891 mil milhões de dólares que poderia ser evitado."

O armazenamento contínuo de dados não criptografados pode colocar uma organização em risco, especialmente se estes dados forem sensíveis. Em caso de violação, as repercussões podem ser graves, financeiras, legais e podem prejudicar seriamente a reputação da organização. Por exemplo, a violação de registos privados de clientes pode resultar no roubo de informações sensíveis, o que pode levar ao roubo de identidade. Outro exemplo seria a violação de informações sensíveis da própria empresa, como as relacionadas com a investigação e desenvolvimento. Estes riscos podem ser mitigados por meio da avaliação e auditoria da utilidade destes dados para a organização, da utilização de criptografia e segurança robustas e, por fim, caso seja determinado o descarte, este deve ser feito de forma irrecuperável.

Futuro

De modo geral, considera-se que, à medida que sistemas computacionais mais avançados para análise de dados forem construídos, maior será o valor dos dados escuros. Observou-se que "dados e análises serão a base da revolução industrial moderna". É claro que isto inclui dados que atualmente são considerados "dados escuros", uma vez que não existem recursos suficientes para processá-los. Todos estes dados que estão a ser coletados podem ser usados no futuro para gerar máxima produtividade e permitir que as organizações atendam à procura dos consumidores. Os avanços tecnológicos estão a ajudar a aproveitar estes dados escuros de forma acessível. Além disso, muitas organizações não percebem o valor dos dados escuros atualmente; por exemplo, organizações de saúde e educação lidam com grandes quantidades de dados que poderiam criar um significativo "potencial para atender alunos e pacientes da mesma forma que os serviços financeiros e de consumo buscam o seu público-alvo".

Ver também

Referências

  1. 1 2 3 «Dark Data». Gartner
  2. ↑ Tittel, Ed (24 de setembro de 2014). «The Dangers of Dark Data and How to Minimize Your Exposure». CIO. Consultado em 15 de setembro de 2015. Arquivado do original em 15 de janeiro de 2019
  3. ↑ «Dados escuros no data center: o que são e por que isso importa?». Época NEGÓCIOS. 23 de dezembro de 2023. Consultado em 25 de maio de 2026. Cópia arquivada em 25 de maio de 2026
  4. 1 2 Brantley, Bill (17 de junho de 2015). «The API Briefing: the Challenge of Government's Dark Data». Digitalgov.gov
  5. 1 2 Johnson, Heather (30 de outubro de 2015). «Digging up dark data: What puts IBM at the forefront of insight economy». SiliconANGLE (em inglês). Consultado em 3 de novembro de 2015. Cópia arquivada em 11 de julho de 2018
  6. 1 2 Dennies, Paul (19 de fevereiro de 2015). «TeradataVoice: Factories Of The Future: The Value Of Dark Data». Forbes. Cópia arquivada em 22 de fevereiro de 2015
  7. ↑ Shahzad, M. Ahmad (3 de janeiro de 2017). «The big data challenge of transformation for the manufacturing industry». IBM Big Data & Analytics Hub. Consultado em 23 de janeiro de 2017. Arquivado do original em 6 de março de 2018
  8. ↑ «Are you using your dark data effectively». Consultado em 12 de janeiro de 2017. Arquivado do original em 16 de janeiro de 2017
  9. ↑ Miles, Doug (27 de dezembro de 2013). «Dark data could halt big data's path to success». ComputerWeekly. Consultado em 3 de novembro de 2015
  10. ↑ Glanz, James (22 de setembro de 2012). «Data Centers Waste Vast Amounts of Energy, Belying Industry Image». The New York Times. Consultado em 2 de novembro de 2015
  11. ↑ Hernandez, Pedro (30 de outubro de 2015). «Enterprises are Hoarding 'Dark' Data: Veritas». Datamation. Consultado em 4 de novembro de 2015. Cópia arquivada em 4 de outubro de 2017
  12. ↑ «DarkShield Uses Machine Learning to Find and Mask PII». IRI. Consultado em 14 de janeiro de 2019
  13. ↑ Tittel, Ed (24 de setembro de 2014). «The Dangers of Dark Data and How to Minimize Your Exposure». CIO. Consultado em 2 de novembro de 2015. Arquivado do original em 15 de janeiro de 2019
  14. ↑ Prag, Crystal (30 de setembro de 2014). «Leveraging Dark Data: Q&A with Melissa McCormack». The Machine Learning Times (em inglês). Consultado em 4 de novembro de 2015. Cópia arquivada em 15 de outubro de 2019