topic Re: dúvida sobre Data wareHouse in Brasil

dúvida sobre Data wareHouse

Mon, 12 Jun 2017 21:02:10 GMT

Boa noite galera,

Se eu usar um sgbd (postgresql, sqlserver, mysql) modelados com uma arquitetura multidimensional, ele será um data warehouse ?

Quais ferramentas mais usadas/recomendam para DW ?

att. Daniel Veloso

Re: dúvida sobre Data wareHouse

mario_sergio_ti — Tue, 13 Jun 2017 11:27:17 GMT

Amigo;

É possível desenvolver o DW de algumas formas;

A forma simples e tradicional é arquitetando em uma estrutura multidimensional utilizando um SGBD como apoio, podendo ser um banco de dados convencional como os que citou;

A grande diferença é que não irá modelar com as regras da modelagem relacional, mas sim multidimensional;

Para DW de grande porte, é recomendado utilizar banco de dados apropriados para as estruturas analíticos, onde a prioridade está na performance da leitura dos dados, haja vista que a massa de dados será bem maior do que o modelo relacional, pois no modelo relacional, trabalhamos alinhado com os processos de normalização (otimização de armazenamento, IN/OUT...), já no multidimensional, o objetivo é obtermos históricos dos dados e maior performance de leitura, então é comum encontrarmos registro repetidos na estrutura e diminuirmos as relações.

Exemplos de banco de dados analíticos são os NoSQL, mas existem outros tipos também.

Vejamos:

Outras estruturas: New SQL, BigData...

Algumas diferenças:

Eu já utilizei o MemSQL, a estrutura interna cria vários arquivos em Json, mas as consultas e os drives são os mesmos do MySQL, muito bom;

Outro que é bastante utilizado junto a suite Pentaho é o HP Vertica.

Para o desenvolvimento do DW, temos algumas ferramentas de ETL como: Pentaho PDI, Talend Data Integration, Oracle ODI...

Re: dúvida sobre Data wareHouse

Tue, 13 Jun 2017 15:04:47 GMT

Mario,

ótimo esclarecimento. Desconhecia o newSQL.

Fui pesquisar sobre newSQL e entendi que ele está no meio entre o noSQL e o SQL. Me parece que o BI usa conceito do newSQL, ja que ele possui uma análise em massa de registros por colunas e também possui relacionamentos. meu raciocinio está Coerente ?

att. Daniel Veloso

Re: dúvida sobre Data wareHouse

mario_sergio_ti — Tue, 13 Jun 2017 16:20:37 GMT

Amigo, o NewSQL é uma outra estrutura, a ideia é um banco para grande massa de dados e que tenha opções de interações utilizando expressões em SQL

Veja um documento comparativo: Estudo comparativo entr bancos RDBMS, NoSQL e NewSQL

O conceito BI pode ser trabalhado nas diferentes tecnologias.

Abraço.

Re: dúvida sobre Data wareHouse

Tue, 20 Jun 2017 13:15:37 GMT

Mario,

Surgiu uma dúvida. Pelo fato de nunca ter usado um BD noSQL.

Como fica a relação da tabela fato com a dimensão num BD noSQL ?

Re: dúvida sobre Data wareHouse

mario_sergio_ti — Tue, 20 Jun 2017 13:41:47 GMT

Amigo, a estrutura NoSQL, de fato não é relacional;

No grosso modo, ficaria tudo junto, e a arquitetura interna iria fazer as segmentações. No caso do esquema estrela no BD Relacional, na estrutura NoSQL seria uma "tabela" estrela por exemplo;

Dá um nó na cabeça no começa, mas depois você entende a estrutura.

Veja: Criação de Data Warehouse em Banco de Dados NoSQL com Cassandra, Spar…