Comentar sobre os benef\u00edcios do Big Data \u00e9 desnecess\u00e1rio no atual est\u00e1gio do mercado. Quem ainda n\u00e3o se convenceu est\u00e1 fora do jogo. Basta lembrar que o McKinsey Global Institute apontou o Big Data entre as cinco oportunidades para o crescimento da economia americana. Um dos desafios para muitas empresas \u00e9 a coleta, transforma\u00e7\u00e3o e carga de dados. O outro \u00e9 ter uma equipe capacitada para fazer an\u00e1lise avan\u00e7ada de dados. Esse artigo comenta sobre a coleta, transforma\u00e7\u00e3o e carga de dados.<\/p>\n
Para quem tem experi\u00eancia em implanta\u00e7\u00e3o de ERPs consolidando v\u00e1rios sistemas legados conhece o desafio do ETL (Extract, Transformation and Load<\/em>) dos dados. Ao longo do tempo as empresas constroem v\u00e1rios sistemas e, no passado, sem uma vis\u00e3o empresarial integrada para a defini\u00e7\u00e3o da arquitetura de dados e taxonomia. Ou seja, as estruturas de dados foram criadas para classificar os elementos dentro dos pr\u00f3prios sistemas. Quando se tenta consolidar os dados em um \u00fanico sistema encontramos dificuldades para compatibiliz\u00e1-los.<\/p>\n Um exemplo simples da necessidade de transforma\u00e7\u00e3o de dados \u00e9 a unidade de medida utilizada em sistemas diferentes. Em um sistema a unidade \u00e9 quilograma e em outro \u00e9 tonelada. \u00a0Entretanto, os desafios s\u00e3o maiores quando um determinado dado foi calculado por um outro sistema e voc\u00ea precisa desenvolver um algoritmo para descobrir os elementos que foram usados para o c\u00e1lculo.<\/p>\n Depois da extra\u00e7\u00e3o e transforma\u00e7\u00e3o dos dados, a pr\u00f3xima etapa \u00e9 a carga nos bancos de dados. A complexidade dessa tarefa varia de acordo com o volume de dados a ser carregado. Para grandes volumes \u00e9 necess\u00e1ria uma infraestrutura de I\/O (input\/output) robusta e veloz.<\/p>\n Olhando uma organiza\u00e7\u00e3o t\u00edpica, vemos que apenas 20% dos dados da organiza\u00e7\u00e3o est\u00e3o estruturados nos sistemas de aplica\u00e7\u00f5es. Os outros 80% est\u00e3o espalhados em planilhas eletr\u00f4nicas, processadores de texto, apresenta\u00e7\u00f5es, arquivos vetoriais de CAD, etc. Cada um possui uma estrutura de dados espec\u00edfica. Esses dados s\u00e3o t\u00e3o ou mais importantes para as tomadas de decis\u00e3o que os dados estruturados dos sistemas.<\/p>\n Com o crescimento do n\u00famero de sensores remotos usando tecnologia de Internet of Things o volume de aquisi\u00e7\u00e3o de dados tem evolu\u00eddo, exponencialmente. No setor el\u00e9trico, a coleta de dados de medidores eletr\u00f4nicos deve aumentar o volume de dados coletas em quase 4.000 vezes. Alguns medidores eletr\u00f4nicos t\u00eam 250 registradores de dados.<\/p>\n Al\u00e9m dos dados empresariais, dados de entidades externas s\u00e3o importantes para a an\u00e1lises e tomadas de decis\u00e3o. Dados das redes sociais s\u00e3o importantes para conhecer o perfil dos consumidores e direcionar as estrat\u00e9gias de vendas e novos produtos. As redes sociais, como Facebook e Twitter, possuem kits de desenvolvimento de software (SDK) para interagir com seus ambientes.<\/p>\n Com a Internet of Things e as redes sociais a an\u00e1lise de dados \u00e9 realizada em tempo real com os dados em mem\u00f3ria e n\u00e3o mais armazenadas em discos mec\u00e2nicos tradicionais. Novos mecanismos de troca de dados entre clusters, como o ACE+TAO usado pelo Facebook, melhoram a qualidade de servi\u00e7o (QoS) da troca e qualidade das comunica\u00e7\u00f5es de dados.<\/p>\n As principais solu\u00e7\u00f5es de software para Big Data s\u00e3o open source<\/em> e est\u00e3o dispon\u00edveis para todas as empresas. Embora, a arquitetura seja complexa os kits de desenvolvimento facilitam o acesso e manipula\u00e7\u00e3o de dados. Identificando claramente os objetivos dos projetos de Big Data o retorno do investimento \u00e9 garantido.<\/p>\n","protected":false},"excerpt":{"rendered":" Comentar sobre os benef\u00edcios do Big Data \u00e9 desnecess\u00e1rio no atual est\u00e1gio do mercado. Quem ainda n\u00e3o se convenceu est\u00e1 fora do jogo. Basta lembrar que o McKinsey Global Institute apontou o Big Data entre as cinco oportunidades para o crescimento da economia americana. Um dos desafios para muitas empresas \u00e9 a coleta, transforma\u00e7\u00e3o e […]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"jetpack_post_was_ever_published":false,"_jetpack_newsletter_access":"","_jetpack_dont_email_post_to_subs":false,"_jetpack_newsletter_tier_id":0,"_jetpack_memberships_contains_paywalled_content":false,"_jetpack_memberships_contains_paid_content":false,"footnotes":""},"categories":[352,2,3],"tags":[],"class_list":["post-545","post","type-post","status-publish","format-standard","hentry","category-artigos","category-big-data-2","category-blog"],"jetpack_featured_media_url":"","jetpack_shortlink":"https:\/\/wp.me\/p8yInB-8N","jetpack-related-posts":[{"id":1273,"url":"https:\/\/efagundes.com\/artigos\/scada-big-data-six-sigma\/","url_meta":{"origin":545,"position":0},"title":"SCADA, Big Data, Six-Sigma","author":"Eduardo Fagundes","date":"5 de mar\u00e7o de 2015","format":false,"excerpt":"O grande desafio da automa\u00e7\u00e3o industrial, predial e de concession\u00e1rias de servi\u00e7os p\u00fablicos (energia, \u00e1gua, petr\u00f3leo, g\u00e1s entre outros) \u00e9 reduzir o n\u00famero de falhas para aumentar a efici\u00eancia, objetivando menores custos de opera\u00e7\u00e3o. O cen\u00e1rio tecnol\u00f3gico \u00e9 complexo, n\u00e3o apenas pelas caracter\u00edsticas de medi\u00e7\u00f5es e controles, mas pela quantidade\u2026","rel":"","context":"Em "Artigos"","block_context":{"text":"Artigos","link":"https:\/\/efagundes.com\/artigos\/category\/artigos\/"},"img":{"alt_text":"figura-SCADA-Big-Data-Six-Sigma-v81","src":"https:\/\/i0.wp.com\/efagundes.com\/artigos\/wp-content\/uploads\/sites\/2\/2015\/03\/figura-SCADA-Big-Data-Six-Sigma-v81.png?resize=350%2C200","width":350,"height":200,"srcset":"https:\/\/i0.wp.com\/efagundes.com\/artigos\/wp-content\/uploads\/sites\/2\/2015\/03\/figura-SCADA-Big-Data-Six-Sigma-v81.png?resize=350%2C200 1x, https:\/\/i0.wp.com\/efagundes.com\/artigos\/wp-content\/uploads\/sites\/2\/2015\/03\/figura-SCADA-Big-Data-Six-Sigma-v81.png?resize=525%2C300 1.5x"},"classes":[]},{"id":398,"url":"https:\/\/efagundes.com\/artigos\/uma-nova-organizacao-para-big-data\/","url_meta":{"origin":545,"position":1},"title":"Uma nova organiza\u00e7\u00e3o para Big Data","author":"Eduardo Fagundes","date":"26 de junho de 2014","format":false,"excerpt":"Qual a principal diferen\u00e7a entre Data Warehouse (DW) e Big Data? O DW \u00e9 utilizado para melhorar as tomadas de decis\u00e3o e o Big Data \u00e9 usado para a inova\u00e7\u00e3o. As empresas ter\u00e3o que tomar a decis\u00e3o de dividir seus sistemas de informa\u00e7\u00e3o no m\u00e9dio prazo. Uma para atender aos\u2026","rel":"","context":"Em "Artigos"","block_context":{"text":"Artigos","link":"https:\/\/efagundes.com\/artigos\/category\/artigos\/"},"img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]},{"id":1170,"url":"https:\/\/efagundes.com\/artigos\/manufatura-inteligente-e-a-internet-da-coisas\/","url_meta":{"origin":545,"position":2},"title":"Manufatura Inteligente e a Internet das Coisas","author":"Eduardo Fagundes","date":"4 de dezembro de 2014","format":false,"excerpt":"Um estudo da American Society for Quality (ASQ) de dezembro de 2013 mostrou que apenas 13% das empresas de manufatura usavam conceitos e tecnologias de manufatura inteligente (Smarter Manufacturing) nas suas opera\u00e7\u00f5es, nos Estados Unidos. Das empresas que adotaram, 82% melhoram sua efici\u00eancia, 49% reduziram os defeitos de seus produtos\u2026","rel":"","context":"Em "Artigos"","block_context":{"text":"Artigos","link":"https:\/\/efagundes.com\/artigos\/category\/artigos\/"},"img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]},{"id":540,"url":"https:\/\/efagundes.com\/artigos\/estrutura-organizacional-e-estrategia-de-ti-para-digital-business\/","url_meta":{"origin":545,"position":3},"title":"Estrutura organizacional e Estrat\u00e9gia de TI para Digital Business","author":"Eduardo Fagundes","date":"10 de novembro de 2014","format":false,"excerpt":"As tradicionais estruturas organizacionais de TI s\u00e3o obsoletas para as estrat\u00e9gias de digital business das empresas. As novas organiza\u00e7\u00f5es de TI devem ser escal\u00e1veis, atender ao time-to-market, ter custos por demanda, atender aos requisitos legais, ter alta disponibilidade de servi\u00e7os e promover a inova\u00e7\u00e3o e a melhoria cont\u00ednua dos processos\u2026","rel":"","context":"Em "Artigos"","block_context":{"text":"Artigos","link":"https:\/\/efagundes.com\/artigos\/category\/artigos\/"},"img":{"alt_text":"figura-organograma-ti-v71","src":"https:\/\/i0.wp.com\/efagundes.com\/artigos\/wp-content\/uploads\/sites\/2\/2014\/11\/figura-organograma-ti-v71.png?resize=350%2C200","width":350,"height":200},"classes":[]},{"id":403,"url":"https:\/\/efagundes.com\/artigos\/dcim-data-center-infrastructure-management\/","url_meta":{"origin":545,"position":4},"title":"DCIM \u2013 Data Center Infrastructure Management","author":"Eduardo Fagundes","date":"25 de julho de 2014","format":false,"excerpt":"Os data centers modernos de alta disponibilidade enfrentam o desafio da desconex\u00e3o entre a infraestrutura predial e a infraestrutura de TI. Estes desafios se tornam mais cr\u00edticos com a virtualiza\u00e7\u00e3o de servidores e armazenamento de dados que cria um ambiente din\u00e2mico dentro de um ambiente est\u00e1tico, onde as r\u00e1pidas mudan\u00e7as\u2026","rel":"","context":"Em "Artigos"","block_context":{"text":"Artigos","link":"https:\/\/efagundes.com\/artigos\/category\/artigos\/"},"img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]},{"id":558,"url":"https:\/\/efagundes.com\/artigos\/planos-de-continuidade-de-negocios-no-cenario-de-cloud-computing\/","url_meta":{"origin":545,"position":5},"title":"Planos de Continuidade de Neg\u00f3cios no cen\u00e1rio de Cloud Computing","author":"Eduardo Fagundes","date":"17 de novembro de 2014","format":false,"excerpt":"O ambiente tecnol\u00f3gico atual facilita a constru\u00e7\u00e3o de planos de continuidade de neg\u00f3cios, incluindo planos de recupera\u00e7\u00e3o de desastres (DRP) dos data centers. Aplica\u00e7\u00f5es executando em ambientes Cloud Computing em mais de um data center permite uma r\u00e1pida mudan\u00e7a de ambiente em caso de falha. A configura\u00e7\u00e3o de data centers\u2026","rel":"","context":"Em "Artigos"","block_context":{"text":"Artigos","link":"https:\/\/efagundes.com\/artigos\/category\/artigos\/"},"img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]}],"jetpack_sharing_enabled":true,"_links":{"self":[{"href":"https:\/\/efagundes.com\/artigos\/wp-json\/wp\/v2\/posts\/545","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/efagundes.com\/artigos\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/efagundes.com\/artigos\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/efagundes.com\/artigos\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/efagundes.com\/artigos\/wp-json\/wp\/v2\/comments?post=545"}],"version-history":[{"count":0,"href":"https:\/\/efagundes.com\/artigos\/wp-json\/wp\/v2\/posts\/545\/revisions"}],"wp:attachment":[{"href":"https:\/\/efagundes.com\/artigos\/wp-json\/wp\/v2\/media?parent=545"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/efagundes.com\/artigos\/wp-json\/wp\/v2\/categories?post=545"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/efagundes.com\/artigos\/wp-json\/wp\/v2\/tags?post=545"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}