Data warehouse && Qlikview

[#1]

Olá pessoal!

Estamos reformulando nossa estrutura de BI com a utilização do QlikView. Nossa grande questão é se mantemos ou não uma estrutura de Data Warehouse pré Qlik.

Jã discutimos isso internamente e já lemos bastante coisa. Em função do porte da empresa e das necessidades de indicadores que temos, faz sentido termos uma estrutura de DW. Contudo, estamos com receio de perder grande parte da funcionalidade do Qlik, principalmente no que diz respeito ao Self-Analytics, em função disso.

Sendo assim, gostaria de saber qual é a visão de vocês quanto a esta balança... Vocês usam DW? Como chegaram a essa definição?

Um abraço

[Clever_Anjos]

Em minha modesta opinião.

Se vocês só vão extrair os dados para o Qlik, é desnecessário um DW.

Mas se extraem para outras plataformas, bem como exportações analíticas (zilhões de registros em formato csv) é melhor manter o DW.

[#3]

Obrigado Clever por partilhar sua opinião.

Neste caso, você teria uma indicação de leitura ou metodologia para se gerenciar a consolidação de indicadores históricos e as possíveis Slow Change Dimension?

Principalmente no que diz respeito a geração e atualização de diferentes QVDs ou QVDs muito grandes.

Um abraço

[Clever_Anjos · Accepted solution]

Bom na sua pergunta tem um monte de questões, hehe

Vamos por partes:

• Eu procuro particionar os QVD´s de tabelas fato por fatias de tempo (dias ou meses), tentando não ultrapassar um QVD com mais de 100Mb (é um número empírico, sem um teoria de cálculo). Para mim oferece uma boa solução de leitura e gravação sem onerar performance de I/O.
• Se quiser usar QVD´s incrementais: http://qlikviewcookbook.com/download/delta-load-template/‌
• SCD : Slowly Changing Dimensions, procure seguir os posts do hic‌, ele é o "evangelista" do Qlik

[afurtado]

Rodrigo, tenho um pensamento similar ao do Clever.

Mas,se tivesse muitas regras de negócios e ou complexidade, poderia neste caso também optar em DW.  Justamente para não trazer muita complexidade ao script e se mudar de ferramenta perder tudo.....Mas pensaria muito antes....Senão perde velocidade/agilidade pois teria que mexer no DW e depois no Qlik.   E ver a habilidade de quem for fazer no Qlik (Incremental, usar o iterno() no Slowly changing Dimensions pode complicar a vida de quem esta começando..... ).

Sobre fazer em QVD, usar o incremental nas tabelas que levam tempo......Eu sempre analiso o log da carga para descobrir em quais preciso trabalhar com incremental e mesmo tentar otimizar o SQL.

Tem estes artigos do HIC sobre SCD

https://community.qlik.com/blogs/qlikviewdesignblog/2013/06/03/slowly-changing-dimensions

IntervalMatch and Slowly Changing Dimensions

[Clever_Anjos]

Algumas leituras

• Discussão: http://www.bardess.com/should-qlikview-be-used-as-a-data-warehouse/
• Aqui, um plano de projeto de um DW "completo", se vocês puderem abrir mão da maioria dos tópicos, poderia ser feito em Qlik http://businessqlik.com/solutions/postroenie-hranilisha-dannih
• Discussão: http://www.us-analytics.com/blog/qlikview/2010/07/can-i-really-replace-a-data-warehouse-with%E2%80%A...

[#7]

Obrigado Clever...

Vou me aprofundar mais no assunto e levar para a equipe....

Um forte abraço

[#8]

Obrigado Alessandro!

Vou olhar o material que indicastes e analisar melhor a questão.

Um forte abraço

[Clever_Anjos]

Se for o caso, temos o serviço de consultoria para apoiar em projetos