{"id":398,"date":"2014-06-26T10:48:33","date_gmt":"2014-06-26T13:48:33","guid":{"rendered":"http:\/\/efagundes.com\/itgov\/?p=398"},"modified":"2016-09-03T07:40:11","modified_gmt":"2016-09-03T10:40:11","slug":"uma-nova-organizacao-para-big-data","status":"publish","type":"post","link":"https:\/\/efagundes.com\/artigos\/uma-nova-organizacao-para-big-data\/","title":{"rendered":"Uma nova organiza\u00e7\u00e3o para Big Data"},"content":{"rendered":"<p>Qual a principal diferen\u00e7a entre Data Warehouse (DW) e Big Data? O DW \u00e9 utilizado para melhorar as tomadas de decis\u00e3o e o Big Data \u00e9 usado para a inova\u00e7\u00e3o. As empresas ter\u00e3o que tomar a decis\u00e3o de dividir seus sistemas de informa\u00e7\u00e3o no m\u00e9dio prazo. Uma para atender aos processos operacionais tradicionais e outra para atender a demanda por inova\u00e7\u00e3o. Os sistemas atuais n\u00e3o est\u00e3o preparados para analisar o volume dados gerados pelas redes sociais e sensores da Internet da Coisas (Internet of Things, IoT). Ser\u00e1 necess\u00e1rio criar uma nova organiza\u00e7\u00e3o exclusiva e independente da tradicional TI para analisar dados e propor novos produtos e servi\u00e7os baseados no Big Data. Essa nova organiza\u00e7\u00e3o ter\u00e1 como principal caracter\u00edstica uma equipe de pessoas inteligentes e espertas, <em>smart people<\/em>.<\/p>\n<p>O DW trabalha com dados hist\u00f3ricos armazenados de forma estruturada e centralizada. Como as empresas possuem apenas 20% de seus dados estruturados as decis\u00f5es s\u00e3o baseadas em um pequeno universo de informa\u00e7\u00f5es. Essas informa\u00e7\u00f5es est\u00e3o armazenadas em estruturas de bancos de dados hier\u00e1rquicos ou relacionais. As demais informa\u00e7\u00f5es est\u00e3o em arquivos fragmentados, como: planilhas, apresenta\u00e7\u00f5es e documentos. Atualmente, as empresas j\u00e1 t\u00eam dificuldades para tomar decis\u00f5es com as informa\u00e7\u00f5es dispon\u00edveis pelos sistemas de informa\u00e7\u00f5es.<\/p>\n<p>A atual estrutura de bancos de dados das empresas (DMSM, RDBMS ou ORDBMS) n\u00e3o s\u00e3o apropriadas para trabalhar com Big Data. Desta forma, \u00e9 necess\u00e1rio construir uma infraestrutura independente de hardware e software. O Big Data requer uma infraestrutura para tratar grandes volumes de dados, velocidade de processamento e variedade de dados, o chamado 3V.<\/p>\n<p>Para tratar milhares de terabytes \u00e9 necess\u00e1ria uma infraestrutura de armazenamento e I\/O flex\u00edvel, escal\u00e1vel e de alto desempenho, usando tecnologias SSD (Solid State Drive) e DAS (Direct-attach Storage) ou trabalhando com os dados em mem\u00f3ria (in-memory). As tecnologias de SAN (Storage Area Network) e NAS (Network-attached storage) s\u00e3o relativamente lentas para o Big Data.<\/p>\n<p>Para conseguir velocidade de processamento \u00e9 necess\u00e1rio trabalhar com processamento paralelo em uma infraestrutura escal\u00e1vel. Como a filosofia do Big Data \u00e9 dividir as pesquisas em v\u00e1rias frentes \u00e9 necess\u00e1rio um grande n\u00famero de processadores para conseguir alto desempenho no processamento. O Big Data usa processamento paralelo massivo (MPP) para bancos de dados, grid computing, sistemas de arquivos e bancos de dados distribu\u00eddos e pesado acesso \u00e0 Internet.<\/p>\n<p>Trabalhar com uma grande variedade de dados muda o paradigma da normaliza\u00e7\u00e3o de dados utilizada pelos bancos de dados tradicionais. O Big Data requer tecnologias para processamento de gigantescas quantidades de dados, tais como: teste A\/B, crowdsourcing, fus\u00e3o e integra\u00e7\u00e3o de dados, algoritmos gen\u00e9ricos, m\u00e1quinas de aprendizagem, processamento de linguagem natural, processamento de sinais, simula\u00e7\u00f5es, an\u00e1lise de s\u00e9ries e visualiza\u00e7\u00e3o.<\/p>\n<p>O MapReduce, um framework para processamento de Big Data proposto pelo Google, \u00e9 um dos mais conhecidos no mercado. O MapReduce tem uma implementa\u00e7\u00e3o em open source, o Apache Hadoop. Esse framework permite o processamento de dados com um grande n\u00famero de computadores (n\u00f3s) de forma coletiva em \u201ccluster\u201d (se todos os n\u00f3s estiverem na mesma rede local) ou em \u201cgrid\u201d (se os n\u00f3s estiverem geograficamente ou administrativamente distribu\u00eddos). Devido as caracter\u00edsticas de processamento em paralelo e altamente escal\u00e1vel \u00e9 recomend\u00e1vel o uso de ambientes Cloud Computing.<\/p>\n<p>Resolvidos os desafios de coleta de dados e infraestrutura de TI o pr\u00f3ximo desafio \u00e9 definir a equipe para a an\u00e1lise de dados. Na verdade, esse \u00e9 o maior desafio para que o Big Data traga valor para as organiza\u00e7\u00f5es.<\/p>\n<p>Minha sugest\u00e3o \u00e9 que os membros da equipe tenham diferentes domin\u00e2ncias celebrais e com experi\u00eancia em melhoria cont\u00ednua de processos e projetos de startups. Para o sucesso dessa equipe seu l\u00edder deve estar no mesmo n\u00edvel hier\u00e1rquico dos demais diretores para n\u00e3o sofrer obst\u00e1culos na obten\u00e7\u00e3o de dados organizacionais e exposi\u00e7\u00e3o de ideias e projetos.<\/p>\n<p>Resumindo, o Data Warehouse n\u00e3o atende as expectativas de inova\u00e7\u00e3o das empresas e \u00e9 necess\u00e1rio criar uma organiza\u00e7\u00e3o para Big Data com infraestrutura apropriada, de prefer\u00eancia em ambiente Cloud Computing, e uma equipe com diferentes aptid\u00f5es com liberdade de acesso as informa\u00e7\u00f5es corporativas e sem obst\u00e1culos para apresentar novos projetos.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Qual a principal diferen\u00e7a entre Data Warehouse (DW) e Big Data? O DW \u00e9 utilizado para melhorar as tomadas de decis\u00e3o e o Big Data \u00e9 usado para a inova\u00e7\u00e3o. As empresas ter\u00e3o que tomar a decis\u00e3o de dividir seus sistemas de informa\u00e7\u00e3o no m\u00e9dio prazo. Uma para atender aos processos operacionais tradicionais e outra [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"jetpack_post_was_ever_published":false,"_jetpack_newsletter_access":"","_jetpack_dont_email_post_to_subs":false,"_jetpack_newsletter_tier_id":0,"_jetpack_memberships_contains_paywalled_content":false,"_jetpack_memberships_contains_paid_content":false,"footnotes":""},"categories":[352,3,5],"tags":[40,61,88,147,187],"class_list":["post-398","post","type-post","status-publish","format-standard","hentry","category-artigos","category-blog","category-data-center","tag-big-data","tag-cloud-computing","tag-data-warehouse","tag-hadoop","tag-mapreduce"],"jetpack_featured_media_url":"","jetpack_shortlink":"https:\/\/wp.me\/p8yInB-6q","jetpack-related-posts":[{"id":540,"url":"https:\/\/efagundes.com\/artigos\/estrutura-organizacional-e-estrategia-de-ti-para-digital-business\/","url_meta":{"origin":398,"position":0},"title":"Estrutura organizacional e Estrat\u00e9gia de TI para Digital Business","author":"Eduardo Fagundes","date":"10 de novembro de 2014","format":false,"excerpt":"As tradicionais estruturas organizacionais de TI s\u00e3o obsoletas para as estrat\u00e9gias de digital business das empresas. As novas organiza\u00e7\u00f5es de TI devem ser escal\u00e1veis, atender ao time-to-market, ter custos por demanda, atender aos requisitos legais, ter alta disponibilidade de servi\u00e7os e promover a inova\u00e7\u00e3o e a melhoria cont\u00ednua dos processos\u2026","rel":"","context":"Em &quot;Artigos&quot;","block_context":{"text":"Artigos","link":"https:\/\/efagundes.com\/artigos\/category\/artigos\/"},"img":{"alt_text":"figura-organograma-ti-v71","src":"https:\/\/i0.wp.com\/efagundes.com\/artigos\/wp-content\/uploads\/sites\/2\/2014\/11\/figura-organograma-ti-v71.png?resize=350%2C200","width":350,"height":200},"classes":[]},{"id":545,"url":"https:\/\/efagundes.com\/artigos\/big-data-o-desafio-da-coleta-transformacao-e-carga-de-dados\/","url_meta":{"origin":398,"position":1},"title":"Big Data: O desafio da coleta, transforma\u00e7\u00e3o e carga de dados","author":"Eduardo Fagundes","date":"11 de novembro de 2014","format":false,"excerpt":"Comentar sobre os benef\u00edcios do Big Data \u00e9 desnecess\u00e1rio no atual est\u00e1gio do mercado. Quem ainda n\u00e3o se convenceu est\u00e1 fora do jogo. Basta lembrar que o McKinsey Global Institute apontou o Big Data entre as cinco oportunidades para o crescimento da economia americana. Um dos desafios para muitas empresas\u2026","rel":"","context":"Em &quot;Artigos&quot;","block_context":{"text":"Artigos","link":"https:\/\/efagundes.com\/artigos\/category\/artigos\/"},"img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]},{"id":1273,"url":"https:\/\/efagundes.com\/artigos\/scada-big-data-six-sigma\/","url_meta":{"origin":398,"position":2},"title":"SCADA, Big Data, Six-Sigma","author":"Eduardo Fagundes","date":"5 de mar\u00e7o de 2015","format":false,"excerpt":"O grande desafio da automa\u00e7\u00e3o industrial, predial e de concession\u00e1rias de servi\u00e7os p\u00fablicos (energia, \u00e1gua, petr\u00f3leo, g\u00e1s entre outros) \u00e9 reduzir o n\u00famero de falhas para aumentar a efici\u00eancia, objetivando menores custos de opera\u00e7\u00e3o. O cen\u00e1rio tecnol\u00f3gico \u00e9 complexo, n\u00e3o apenas pelas caracter\u00edsticas de medi\u00e7\u00f5es e controles, mas pela quantidade\u2026","rel":"","context":"Em &quot;Artigos&quot;","block_context":{"text":"Artigos","link":"https:\/\/efagundes.com\/artigos\/category\/artigos\/"},"img":{"alt_text":"figura-SCADA-Big-Data-Six-Sigma-v81","src":"https:\/\/i0.wp.com\/efagundes.com\/artigos\/wp-content\/uploads\/sites\/2\/2015\/03\/figura-SCADA-Big-Data-Six-Sigma-v81.png?resize=350%2C200","width":350,"height":200,"srcset":"https:\/\/i0.wp.com\/efagundes.com\/artigos\/wp-content\/uploads\/sites\/2\/2015\/03\/figura-SCADA-Big-Data-Six-Sigma-v81.png?resize=350%2C200 1x, https:\/\/i0.wp.com\/efagundes.com\/artigos\/wp-content\/uploads\/sites\/2\/2015\/03\/figura-SCADA-Big-Data-Six-Sigma-v81.png?resize=525%2C300 1.5x"},"classes":[]},{"id":393,"url":"https:\/\/efagundes.com\/artigos\/a-inovacao-em-uma-ti-hibrida\/","url_meta":{"origin":398,"position":3},"title":"A inova\u00e7\u00e3o em uma TI hibrida","author":"Eduardo Fagundes","date":"25 de junho de 2014","format":false,"excerpt":"Os grandes provedores de tecnologia est\u00e3o migrando seus softwares para Cloud Computing. A Microsoft, SAP, IBM, Adobe e outras j\u00e1 ofertam suas solu\u00e7\u00f5es na nuvem. A SAP anunciou uma nova estrutura organizacional orientada a Cloud Computing. Essa movimenta\u00e7\u00e3o dos fornecedores para a nuvem obrigar\u00e1, mais cedo ou mais tarde, as\u2026","rel":"","context":"Em &quot;Artigos&quot;","block_context":{"text":"Artigos","link":"https:\/\/efagundes.com\/artigos\/category\/artigos\/"},"img":{"alt_text":"inovacao na ti hibrida","src":"https:\/\/i0.wp.com\/efagundes.com\/itgov\/wp-content\/uploads\/inovacao-na-ti-hibrida.jpg?resize=350%2C200","width":350,"height":200},"classes":[]},{"id":405,"url":"https:\/\/efagundes.com\/artigos\/uma-organizacao-para-gestao-da-infraestrutura-predial-de-data-centers\/","url_meta":{"origin":398,"position":4},"title":"Uma organiza\u00e7\u00e3o para gest\u00e3o da infraestrutura predial de data centers","author":"Eduardo Fagundes","date":"26 de julho de 2014","format":false,"excerpt":"A alta disponibilidade dos servi\u00e7os dos data centers exige uma organiza\u00e7\u00e3o dedicada ao controle da infraestrutura predial, forte automa\u00e7\u00e3o de processos e integra\u00e7\u00e3o com a monitora\u00e7\u00e3o do ambiente tecnol\u00f3gico (servidores, armazenamento e rede de comunica\u00e7\u00e3o). A gest\u00e3o inicia com os processos de comissionamento dos equipamentos e sistemas especialistas, segue com\u2026","rel":"","context":"Em &quot;Artigos&quot;","block_context":{"text":"Artigos","link":"https:\/\/efagundes.com\/artigos\/category\/artigos\/"},"img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]},{"id":555,"url":"https:\/\/efagundes.com\/artigos\/novas-tecnologias-e-praticas-para-a-seguranca-da-informacao\/","url_meta":{"origin":398,"position":5},"title":"Novas Tecnologias e Pr\u00e1ticas para a Seguran\u00e7a da Informa\u00e7\u00e3o","author":"Eduardo Fagundes","date":"15 de novembro de 2014","format":false,"excerpt":"A abrang\u00eancia da seguran\u00e7a da informa\u00e7\u00e3o vai muita al\u00e9m da detec\u00e7\u00e3o e elimina\u00e7\u00e3o de v\u00edrus, controle de acessos indevidos, assinaturas digitais, criptografia e classifica\u00e7\u00e3o das informa\u00e7\u00f5es. Os principais ativos organizacionais definidos pelo modelo de governan\u00e7a corporativa, tem a informa\u00e7\u00e3o como seu principal fundamento. A prosperidade das organiza\u00e7\u00f5es tem rela\u00e7\u00e3o direta\u2026","rel":"","context":"Em &quot;Artigos&quot;","block_context":{"text":"Artigos","link":"https:\/\/efagundes.com\/artigos\/category\/artigos\/"},"img":{"alt_text":"","src":"","width":0,"height":0},"classes":[]}],"jetpack_sharing_enabled":true,"_links":{"self":[{"href":"https:\/\/efagundes.com\/artigos\/wp-json\/wp\/v2\/posts\/398","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/efagundes.com\/artigos\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/efagundes.com\/artigos\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/efagundes.com\/artigos\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/efagundes.com\/artigos\/wp-json\/wp\/v2\/comments?post=398"}],"version-history":[{"count":0,"href":"https:\/\/efagundes.com\/artigos\/wp-json\/wp\/v2\/posts\/398\/revisions"}],"wp:attachment":[{"href":"https:\/\/efagundes.com\/artigos\/wp-json\/wp\/v2\/media?parent=398"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/efagundes.com\/artigos\/wp-json\/wp\/v2\/categories?post=398"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/efagundes.com\/artigos\/wp-json\/wp\/v2\/tags?post=398"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}