O grande desafio das empresas \u00e9 integrar dados estruturados de seus bancos de dados relacionais e seus Data Warehouse com dados de outras bases, em diferentes formatos e formas de acesso. O uso de bases externas cresce, exponencialmente, com m\u00e9todos de aquisi\u00e7\u00e3o como o REST e web services. Cresce, tamb\u00e9m, o uso de dados provenientes de dispositivos remotos, usando Internet of Things (IoT) ou outros tipos de conex\u00f5es M2M (Machine-to-Machine), como medidores eletr\u00f4nicos de energia. Para manipular todos esses dados \u00e9 necess\u00e1rio uma solu\u00e7\u00e3o capaz de extrair, transformar e carregar os dados para as ferramentas anal\u00edticas possam operar. Manipular grandes volumes de dados para analises, principalmente, em tempo real n\u00e3o \u00e9 algo trivial.<\/p>\n\n\n\n
Resumindo, precisamos de uma solu\u00e7\u00e3o completa de software que suporte e gerencie dados de um ou mais sistemas de gerenciamento de arquivos que possa processar estruturas relacionais e suportar acessos e disponibilizar dados de ferramentas anal\u00edticas independentes com diferentes interfaces.<\/p>\n\n\n\n
Esses sistemas conhecidos como DMSA (Data Management Solution for Analytics) devem suportar novas estruturas de dados, como XML, JSON, textos, documentos, geoposicionamento e acessar dados externos, independentemente, da aplica\u00e7\u00e3o de front-end.<\/p>\n\n\n\n
Existem v\u00e1rias solu\u00e7\u00f5es dispon\u00edveis dos principais fornecedores de tecnologia internacionais: Actian; Amazon Web Services (AWS); Cloudera; HP; IBM; Microsoft; SAP; Oracle e Teradata. Cada solu\u00e7\u00e3o, tecnologicamente, tem suas vantagens e restri\u00e7\u00f5es dependendo do ambiente de dados da empresa.<\/p>\n\n\n\n
Entretanto, em muitos casos a sele\u00e7\u00e3o de uma solu\u00e7\u00e3o n\u00e3o est\u00e1 apenas na tecnologia, mas na disponibilidade e quantidade de m\u00e3o de obra especializada e na rela\u00e7\u00e3o custo\/benef\u00edcio.<\/p>\n\n\n\n
Embora seja muito mais f\u00e1cil adotar uma solu\u00e7\u00e3o seguindo a tecnologia e servi\u00e7os especializados j\u00e1 implantados na empresa, como \u00e9 o caso da Oracle e SAP, \u00e9 necess\u00e1rio avaliar alternativas de mercado, principalmente para justificar o dinheiro investido para os acionistas.<\/p>\n\n\n\n
Apenas para refor\u00e7ar, n\u00e3o estamos falando de ferramentas de BI e Data Warehouse, simplesmente. Estamos falando de um ambiente mais amplo que permite analises em tempo real com o uso de novas solu\u00e7\u00f5es, como o uso de tecnologias in-memory.<\/p>\n\n\n\n
A Actian (www.actian.com<\/a>), uma jovem empresa americana, faz a integra\u00e7\u00e3o dos dados para a sua ferramenta anal\u00edtica atrav\u00e9s de um portf\u00f3lio de produtos chamados de megavendors, dispon\u00edveis para IBM, Oracle, Microsoft e outros, com pre\u00e7os bem atraentes. A base do DBMS da Actian \u00e9 o Redshift da Amazon, embora utilizem sistemas de arquivos diferentes. O software \u00e9 dispon\u00edvel para uso gratuito para arquivos de at\u00e9 500GB. O desafio \u00e9 a pouca base instalada do software e, consequentemente, a disponibilidade de m\u00e3o de obra. Entretanto, pelo seu custo e facilidades vale a pena formar especialistas nas empresas.<\/p>\n\n\n\n A Amazon Web Service (aws.amazon.com<\/a>) oferece sua solu\u00e7\u00e3o Amazon Redshift, um servi\u00e7o de data warehouse na nuvem, o AWS Data Pipeline, desenhado para orquestrar os dados armazenados na AWS e, o Elastic MapReduce (EMR). Esse servi\u00e7o tem sinergia com as aplica\u00e7\u00f5es de usu\u00e1rios que tem suas aplica\u00e7\u00f5es hospedadas no AWS. Os servi\u00e7os de DBMS permitem a integra\u00e7\u00e3o dos dados e analises sem a necessidade de migra\u00e7\u00e3o para outros ambientes.<\/p>\n\n\n\n A AWS possui parcerias com a SAP, incluindo o SAP Hana, e outros fornecedores de solu\u00e7\u00f5es de BI, como o Microestrategy, aumentando sua competitividade com as ofertas de IaaS (Infrastructure as a Services) e PaaS (Platforma as a Services). Entretanto, a efetiva atratividade por esses servi\u00e7os est\u00e1, diretamente, ligada a rede de parceiros da AWS que dever\u00e3o estar capacitados a configurar e treinar os profissionais das empresas no uso das ferramentas.<\/p>\n\n\n\n A Cloudera (www.cloudera.com<\/a>) tem solu\u00e7\u00f5es de armazenamento de dados e uma plataforma de processamento baseada no Apache Hadoop, e ferramentas de gerenciamento de dados para design, desenvolvimento e opera\u00e7\u00e3o. Uma das vantagens da Cloudera \u00e9 a integra\u00e7\u00e3o com um grande n\u00famero de solu\u00e7\u00f5es de BI. Isso garante os investimentos j\u00e1 realizados em outras plataformas, como Teradata e Microsoft. O desafio da Cloudera \u00e9 a gest\u00e3o dos metadados e a pouca disponibilidade de m\u00e3o de obra especializada.<\/p>\n\n\n\n A HP (www.hp.com<\/a>) possui solu\u00e7\u00f5es baseadas no HAVEn, um conceito que combina varias aquisi\u00e7\u00f5es de ferramentas anal\u00edticas debaixo de um \u00fanico nome. As solu\u00e7\u00f5es s\u00e3o da Vertica, Autonomy e Hadoop. A Vertica \u00e9 uma robusta solu\u00e7\u00e3o de software coluna-vetor para plataformas padr\u00f5es, exceto Windows, e atrav\u00e9s de uma edi\u00e7\u00e3o de colabora\u00e7\u00e3o gratuita, at\u00e9 1TB de dados e tr\u00eas nodes. A solu\u00e7\u00e3o re\u00fane as duas vis\u00f5es de data warehouse, a vis\u00e3o tradicional e a vis\u00e3o avan\u00e7ada utilizada pelas modernas ferramentas anal\u00edticas.<\/p>\n\n\n\n A IBM (www.ibm.com<\/a>) oferce solu\u00e7\u00f5es stand-alone, apliances para data warehouse e a z\/OS. A solu\u00e7\u00e3o dashDB \u00e9 um servi\u00e7o de data warehouse em Cloud Computing. Possui uma variedade de apliances: IBM zEnterprise Analytics System, PureData System, IDAA, IBM Smart Analytics System e outros. A abordagem da IBM para a nuvem inclui solu\u00e7\u00f5es de integra\u00e7\u00e3o e transforma\u00e7\u00e3o de dados para analytics. Seu PaaS para data warehouse usando dashDB, incluindo o formato linha-coluna na modalidade in-memory, pode ser integrada com o servi\u00e7o da banco de dados na nuvem Cloudant baseado em noSQL. Ou seja, a IBM tem um conjunto de solu\u00e7\u00f5es para gerenciamento de dados e ferramentas anal\u00edticas. Dif\u00edcil saber se a pr\u00f3pria IBM consegue avaliar qual a melhor solu\u00e7\u00e3o para seus clientes.<\/p>\n\n\n\n A Microsoft (www.microsoft.com<\/a>) comercializa o SQL Server e o Microsoft Analytics Platform System, que combina o SQL Parallel Data Warehouse e HDInsight, al\u00e9m da sua solu\u00e7\u00e3o para a nuvem Azure. O SQL Server 2014 tem suporte para fun\u00e7\u00f5es anal\u00edticas e transacionais in-memory, dispon\u00edveis tamb\u00e9m no Azure. A Microsoft tem uma enorme base instalada e cresce r\u00e1pido no mercado com suas solu\u00e7\u00f5es anal\u00edticas. O Azure Stack, que permite a transi\u00e7\u00e3o do ambiente tradicional para a nuvem, dentro de uma vis\u00e3o de nuvem h\u00edbrida, permite a concentra\u00e7\u00e3o dos dados corporativos em uma \u00fanica plataforma e facilita o uso de ferramentas anal\u00edticas.<\/p>\n\n\n\n A Oracle (www.oracle.com<\/a>) tem v\u00e1rias solu\u00e7\u00f5es de DBMS, incluindo appliance para Hadoop, chamado Oracle Big Data Appliance. Provavelmente, a Oracle \u00e9 o maior fornecedor de solu\u00e7\u00f5es tradicionais de data warehouse. Isso acontece pelo alinhamento natural dos clientes que utilizam os bancos de dados Oracle. Entretanto, esse dom\u00ednio pode ser abalado com as solu\u00e7\u00f5es \u201cbest-fit\u201d dos outros fornecedores. As quest\u00f5es de custos e a forte depend\u00eancia de um \u00fanico fornecedor tiram a flexibilidade de solu\u00e7\u00f5es tecnol\u00f3gicas e de negocia\u00e7\u00e3o comercial dos clientes, tornando saud\u00e1vel uma diversifica\u00e7\u00e3o das tecnologias.<\/p>\n\n\n\n