Unlock a world of possibilities! Login now and discover the exclusive benefits awaiting you.
Boa noite galera,
Se eu usar um sgbd (postgresql, sqlserver, mysql) modelados com uma arquitetura multidimensional, ele será um data warehouse ?
Quais ferramentas mais usadas/recomendam para DW ?
att. Daniel Veloso
Amigo;
É possível desenvolver o DW de algumas formas;
A forma simples e tradicional é arquitetando em uma estrutura multidimensional utilizando um SGBD como apoio, podendo ser um banco de dados convencional como os que citou;
A grande diferença é que não irá modelar com as regras da modelagem relacional, mas sim multidimensional;
Para DW de grande porte, é recomendado utilizar banco de dados apropriados para as estruturas analíticos, onde a prioridade está na performance da leitura dos dados, haja vista que a massa de dados será bem maior do que o modelo relacional, pois no modelo relacional, trabalhamos alinhado com os processos de normalização (otimização de armazenamento, IN/OUT...), já no multidimensional, o objetivo é obtermos históricos dos dados e maior performance de leitura, então é comum encontrarmos registro repetidos na estrutura e diminuirmos as relações.
Exemplos de banco de dados analíticos são os NoSQL, mas existem outros tipos também.
Vejamos:
Outras estruturas: New SQL, BigData...
Algumas diferenças:
Eu já utilizei o MemSQL, a estrutura interna cria vários arquivos em Json, mas as consultas e os drives são os mesmos do MySQL, muito bom;
Outro que é bastante utilizado junto a suite Pentaho é o HP Vertica.
Para o desenvolvimento do DW, temos algumas ferramentas de ETL como: Pentaho PDI, Talend Data Integration, Oracle ODI...
Amigo;
É possível desenvolver o DW de algumas formas;
A forma simples e tradicional é arquitetando em uma estrutura multidimensional utilizando um SGBD como apoio, podendo ser um banco de dados convencional como os que citou;
A grande diferença é que não irá modelar com as regras da modelagem relacional, mas sim multidimensional;
Para DW de grande porte, é recomendado utilizar banco de dados apropriados para as estruturas analíticos, onde a prioridade está na performance da leitura dos dados, haja vista que a massa de dados será bem maior do que o modelo relacional, pois no modelo relacional, trabalhamos alinhado com os processos de normalização (otimização de armazenamento, IN/OUT...), já no multidimensional, o objetivo é obtermos históricos dos dados e maior performance de leitura, então é comum encontrarmos registro repetidos na estrutura e diminuirmos as relações.
Exemplos de banco de dados analíticos são os NoSQL, mas existem outros tipos também.
Vejamos:
Outras estruturas: New SQL, BigData...
Algumas diferenças:
Eu já utilizei o MemSQL, a estrutura interna cria vários arquivos em Json, mas as consultas e os drives são os mesmos do MySQL, muito bom;
Outro que é bastante utilizado junto a suite Pentaho é o HP Vertica.
Para o desenvolvimento do DW, temos algumas ferramentas de ETL como: Pentaho PDI, Talend Data Integration, Oracle ODI...
Mario,
ótimo esclarecimento. Desconhecia o newSQL.
Fui pesquisar sobre newSQL e entendi que ele está no meio entre o noSQL e o SQL. Me parece que o BI usa conceito do newSQL, ja que ele possui uma análise em massa de registros por colunas e também possui relacionamentos. meu raciocinio está Coerente ?
att. Daniel Veloso
Amigo, o NewSQL é uma outra estrutura, a ideia é um banco para grande massa de dados e que tenha opções de interações utilizando expressões em SQL
Veja um documento comparativo: Estudo comparativo entr bancos RDBMS, NoSQL e NewSQL
O conceito BI pode ser trabalhado nas diferentes tecnologias.
Abraço.
Mario,
Surgiu uma dúvida. Pelo fato de nunca ter usado um BD noSQL.
Como fica a relação da tabela fato com a dimensão num BD noSQL ?
Amigo, a estrutura NoSQL, de fato não é relacional;
No grosso modo, ficaria tudo junto, e a arquitetura interna iria fazer as segmentações. No caso do esquema estrela no BD Relacional, na estrutura NoSQL seria uma "tabela" estrela por exemplo;
Dá um nó na cabeça no começa, mas depois você entende a estrutura.
Veja: Criação de Data Warehouse em Banco de Dados NoSQL com Cassandra, Spar…