5 Replies Latest reply: Jun 20, 2017 9:43 AM by MARIO SOARES RSS

    dúvida sobre Data wareHouse

    daniel veloso

      Boa noite galera,


      Se eu usar um sgbd (postgresql, sqlserver, mysql) modelados com uma arquitetura multidimensional, ele será um data warehouse ?


      Quais ferramentas mais usadas/recomendam para DW ?


      att. Daniel Veloso

       




        • Re: dúvida sobre Data wareHouse
          MARIO SOARES

          Amigo;

          É possível desenvolver o DW de algumas formas;

          A forma simples e tradicional é arquitetando em uma estrutura multidimensional utilizando um SGBD como apoio, podendo ser um banco de dados convencional como os que citou;

          A grande diferença é que não irá modelar com as regras da modelagem relacional, mas sim multidimensional;

           

          Para DW de grande porte, é recomendado utilizar banco de dados apropriados para as estruturas analíticos, onde a prioridade está na performance da leitura dos dados, haja vista que a massa de dados será bem maior do que o modelo relacional, pois no modelo relacional, trabalhamos alinhado com os processos de normalização (otimização de armazenamento, IN/OUT...), já no multidimensional, o objetivo é obtermos históricos dos dados e maior performance de leitura, então é comum encontrarmos registro repetidos na estrutura e diminuirmos as relações.

           

          Exemplos de banco de dados analíticos são os NoSQL, mas existem outros tipos também.

          Vejamos:

          bancos-de-dados-relacionais-como-servio-na-nuvem-da-aws-amazon-rds-4-638.jpg

           

          Outras estruturas: New SQL, BigData...

           

          Algumas diferenças:

          NewSQL-comparison1.png

           

          Eu já utilizei o MemSQL, a estrutura interna cria vários arquivos em Json, mas as consultas e os drives são os mesmos do MySQL, muito bom;

          Outro que é bastante utilizado junto a suite Pentaho é o HP Vertica.

           

          Para o desenvolvimento do DW, temos algumas ferramentas de ETL como: Pentaho PDI, Talend Data Integration, Oracle ODI...