Skip to main content
Announcements
Have questions about Qlik Connect? Join us live on April 10th, at 11 AM ET: SIGN UP NOW
cancel
Showing results for 
Search instead for 
Did you mean: 
Not applicable

dúvida sobre Data wareHouse

Boa noite galera,


Se eu usar um sgbd (postgresql, sqlserver, mysql) modelados com uma arquitetura multidimensional, ele será um data warehouse ?


Quais ferramentas mais usadas/recomendam para DW ?


att. Daniel Veloso




1 Solution

Accepted Solutions
mario_sergio_ti
Partner - Specialist
Partner - Specialist

Amigo;

É possível desenvolver o DW de algumas formas;

A forma simples e tradicional é arquitetando em uma estrutura multidimensional utilizando um SGBD como apoio, podendo ser um banco de dados convencional como os que citou;

A grande diferença é que não irá modelar com as regras da modelagem relacional, mas sim multidimensional;

Para DW de grande porte, é recomendado utilizar banco de dados apropriados para as estruturas analíticos, onde a prioridade está na performance da leitura dos dados, haja vista que a massa de dados será bem maior do que o modelo relacional, pois no modelo relacional, trabalhamos alinhado com os processos de normalização (otimização de armazenamento, IN/OUT...), já no multidimensional, o objetivo é obtermos históricos dos dados e maior performance de leitura, então é comum encontrarmos registro repetidos na estrutura e diminuirmos as relações.

Exemplos de banco de dados analíticos são os NoSQL, mas existem outros tipos também.

Vejamos:

bancos-de-dados-relacionais-como-servio-na-nuvem-da-aws-amazon-rds-4-638.jpg

Outras estruturas: New SQL, BigData...

Algumas diferenças:

NewSQL-comparison1.png

Eu já utilizei o MemSQL, a estrutura interna cria vários arquivos em Json, mas as consultas e os drives são os mesmos do MySQL, muito bom;

Outro que é bastante utilizado junto a suite Pentaho é o HP Vertica.

Para o desenvolvimento do DW, temos algumas ferramentas de ETL como: Pentaho PDI, Talend Data Integration, Oracle ODI...

Consultor certificado | Quem compartilha, aprende!
https://www.linkedin.com/in/mariosergioti

View solution in original post

5 Replies
mario_sergio_ti
Partner - Specialist
Partner - Specialist

Amigo;

É possível desenvolver o DW de algumas formas;

A forma simples e tradicional é arquitetando em uma estrutura multidimensional utilizando um SGBD como apoio, podendo ser um banco de dados convencional como os que citou;

A grande diferença é que não irá modelar com as regras da modelagem relacional, mas sim multidimensional;

Para DW de grande porte, é recomendado utilizar banco de dados apropriados para as estruturas analíticos, onde a prioridade está na performance da leitura dos dados, haja vista que a massa de dados será bem maior do que o modelo relacional, pois no modelo relacional, trabalhamos alinhado com os processos de normalização (otimização de armazenamento, IN/OUT...), já no multidimensional, o objetivo é obtermos históricos dos dados e maior performance de leitura, então é comum encontrarmos registro repetidos na estrutura e diminuirmos as relações.

Exemplos de banco de dados analíticos são os NoSQL, mas existem outros tipos também.

Vejamos:

bancos-de-dados-relacionais-como-servio-na-nuvem-da-aws-amazon-rds-4-638.jpg

Outras estruturas: New SQL, BigData...

Algumas diferenças:

NewSQL-comparison1.png

Eu já utilizei o MemSQL, a estrutura interna cria vários arquivos em Json, mas as consultas e os drives são os mesmos do MySQL, muito bom;

Outro que é bastante utilizado junto a suite Pentaho é o HP Vertica.

Para o desenvolvimento do DW, temos algumas ferramentas de ETL como: Pentaho PDI, Talend Data Integration, Oracle ODI...

Consultor certificado | Quem compartilha, aprende!
https://www.linkedin.com/in/mariosergioti
Not applicable
Author

Mario,

ótimo esclarecimento. Desconhecia o newSQL.

Fui pesquisar sobre newSQL e entendi que ele está no meio entre o noSQL e o SQL. Me parece que o BI usa conceito do newSQL, ja que ele possui uma análise em massa de registros por colunas e também possui relacionamentos. meu raciocinio está Coerente ?


att. Daniel Veloso


mario_sergio_ti
Partner - Specialist
Partner - Specialist

Amigo, o NewSQL é uma outra estrutura, a ideia é um banco para grande massa de dados e que tenha opções de interações utilizando expressões em SQL

Veja um documento comparativo: Estudo comparativo entr bancos RDBMS, NoSQL e NewSQL

O conceito BI pode ser trabalhado nas diferentes tecnologias.

Abraço.

Consultor certificado | Quem compartilha, aprende!
https://www.linkedin.com/in/mariosergioti
Not applicable
Author

Mario,

Surgiu uma dúvida. Pelo fato de nunca ter usado um BD noSQL.

Como fica a relação da tabela fato com a dimensão num BD noSQL ?

mario_sergio_ti
Partner - Specialist
Partner - Specialist

Amigo, a estrutura NoSQL, de fato não é relacional;

No grosso modo, ficaria tudo junto, e a arquitetura interna iria fazer as segmentações. No caso do esquema estrela no BD Relacional, na estrutura NoSQL seria uma "tabela" estrela por exemplo;

Dá um nó na cabeça no começa, mas depois você entende a estrutura.

Veja: Criação de Data Warehouse em Banco de Dados NoSQL com Cassandra, Spar…

Consultor certificado | Quem compartilha, aprende!
https://www.linkedin.com/in/mariosergioti