Qlik Community

Qlik Brasil

Group community for Brazil users. discussion only in Portuguese.

Highlighted
Not applicable

dúvida sobre Data wareHouse

Boa noite galera,


Se eu usar um sgbd (postgresql, sqlserver, mysql) modelados com uma arquitetura multidimensional, ele será um data warehouse ?


Quais ferramentas mais usadas/recomendam para DW ?


att. Daniel Veloso




Tags (1)
1 Solution

Accepted Solutions
mario_sergio_ti
Valued Contributor

Re: dúvida sobre Data wareHouse

Amigo;

É possível desenvolver o DW de algumas formas;

A forma simples e tradicional é arquitetando em uma estrutura multidimensional utilizando um SGBD como apoio, podendo ser um banco de dados convencional como os que citou;

A grande diferença é que não irá modelar com as regras da modelagem relacional, mas sim multidimensional;

Para DW de grande porte, é recomendado utilizar banco de dados apropriados para as estruturas analíticos, onde a prioridade está na performance da leitura dos dados, haja vista que a massa de dados será bem maior do que o modelo relacional, pois no modelo relacional, trabalhamos alinhado com os processos de normalização (otimização de armazenamento, IN/OUT...), já no multidimensional, o objetivo é obtermos históricos dos dados e maior performance de leitura, então é comum encontrarmos registro repetidos na estrutura e diminuirmos as relações.

Exemplos de banco de dados analíticos são os NoSQL, mas existem outros tipos também.

Vejamos:

bancos-de-dados-relacionais-como-servio-na-nuvem-da-aws-amazon-rds-4-638.jpg

Outras estruturas: New SQL, BigData...

Algumas diferenças:

NewSQL-comparison1.png

Eu já utilizei o MemSQL, a estrutura interna cria vários arquivos em Json, mas as consultas e os drives são os mesmos do MySQL, muito bom;

Outro que é bastante utilizado junto a suite Pentaho é o HP Vertica.

Para o desenvolvimento do DW, temos algumas ferramentas de ETL como: Pentaho PDI, Talend Data Integration, Oracle ODI...

5 Replies
mario_sergio_ti
Valued Contributor

Re: dúvida sobre Data wareHouse

Amigo;

É possível desenvolver o DW de algumas formas;

A forma simples e tradicional é arquitetando em uma estrutura multidimensional utilizando um SGBD como apoio, podendo ser um banco de dados convencional como os que citou;

A grande diferença é que não irá modelar com as regras da modelagem relacional, mas sim multidimensional;

Para DW de grande porte, é recomendado utilizar banco de dados apropriados para as estruturas analíticos, onde a prioridade está na performance da leitura dos dados, haja vista que a massa de dados será bem maior do que o modelo relacional, pois no modelo relacional, trabalhamos alinhado com os processos de normalização (otimização de armazenamento, IN/OUT...), já no multidimensional, o objetivo é obtermos históricos dos dados e maior performance de leitura, então é comum encontrarmos registro repetidos na estrutura e diminuirmos as relações.

Exemplos de banco de dados analíticos são os NoSQL, mas existem outros tipos também.

Vejamos:

bancos-de-dados-relacionais-como-servio-na-nuvem-da-aws-amazon-rds-4-638.jpg

Outras estruturas: New SQL, BigData...

Algumas diferenças:

NewSQL-comparison1.png

Eu já utilizei o MemSQL, a estrutura interna cria vários arquivos em Json, mas as consultas e os drives são os mesmos do MySQL, muito bom;

Outro que é bastante utilizado junto a suite Pentaho é o HP Vertica.

Para o desenvolvimento do DW, temos algumas ferramentas de ETL como: Pentaho PDI, Talend Data Integration, Oracle ODI...

Not applicable

Re: dúvida sobre Data wareHouse

Mario,

ótimo esclarecimento. Desconhecia o newSQL.

Fui pesquisar sobre newSQL e entendi que ele está no meio entre o noSQL e o SQL. Me parece que o BI usa conceito do newSQL, ja que ele possui uma análise em massa de registros por colunas e também possui relacionamentos. meu raciocinio está Coerente ?


att. Daniel Veloso


mario_sergio_ti
Valued Contributor

Re: dúvida sobre Data wareHouse

Amigo, o NewSQL é uma outra estrutura, a ideia é um banco para grande massa de dados e que tenha opções de interações utilizando expressões em SQL

Veja um documento comparativo: Estudo comparativo entr bancos RDBMS, NoSQL e NewSQL

O conceito BI pode ser trabalhado nas diferentes tecnologias.

Abraço.

Not applicable

Re: dúvida sobre Data wareHouse

Mario,

Surgiu uma dúvida. Pelo fato de nunca ter usado um BD noSQL.

Como fica a relação da tabela fato com a dimensão num BD noSQL ?

mario_sergio_ti
Valued Contributor

Re: dúvida sobre Data wareHouse

Amigo, a estrutura NoSQL, de fato não é relacional;

No grosso modo, ficaria tudo junto, e a arquitetura interna iria fazer as segmentações. No caso do esquema estrela no BD Relacional, na estrutura NoSQL seria uma "tabela" estrela por exemplo;

Dá um nó na cabeça no começa, mas depois você entende a estrutura.

Veja: Criação de Data Warehouse em Banco de Dados NoSQL com Cassandra, Spar…