5 Replies Latest reply: Jun 20, 2017 9:43 AM by Mario Sergio Medeiros Soares RSS

    dúvida sobre Data wareHouse

    daniel veloso

      Boa noite galera,


      Se eu usar um sgbd (postgresql, sqlserver, mysql) modelados com uma arquitetura multidimensional, ele será um data warehouse ?


      Quais ferramentas mais usadas/recomendam para DW ?


      att. Daniel Veloso

       




        • Re: dúvida sobre Data wareHouse
          Mario Sergio Medeiros Soares

          Amigo;

          É possível desenvolver o DW de algumas formas;

          A forma simples e tradicional é arquitetando em uma estrutura multidimensional utilizando um SGBD como apoio, podendo ser um banco de dados convencional como os que citou;

          A grande diferença é que não irá modelar com as regras da modelagem relacional, mas sim multidimensional;

           

          Para DW de grande porte, é recomendado utilizar banco de dados apropriados para as estruturas analíticos, onde a prioridade está na performance da leitura dos dados, haja vista que a massa de dados será bem maior do que o modelo relacional, pois no modelo relacional, trabalhamos alinhado com os processos de normalização (otimização de armazenamento, IN/OUT...), já no multidimensional, o objetivo é obtermos históricos dos dados e maior performance de leitura, então é comum encontrarmos registro repetidos na estrutura e diminuirmos as relações.

           

          Exemplos de banco de dados analíticos são os NoSQL, mas existem outros tipos também.

          Vejamos:

          bancos-de-dados-relacionais-como-servio-na-nuvem-da-aws-amazon-rds-4-638.jpg

           

          Outras estruturas: New SQL, BigData...

           

          Algumas diferenças:

          NewSQL-comparison1.png

           

          Eu já utilizei o MemSQL, a estrutura interna cria vários arquivos em Json, mas as consultas e os drives são os mesmos do MySQL, muito bom;

          Outro que é bastante utilizado junto a suite Pentaho é o HP Vertica.

           

          Para o desenvolvimento do DW, temos algumas ferramentas de ETL como: Pentaho PDI, Talend Data Integration, Oracle ODI...