Diagrama | Modelo de ETL para Qlik Sense / QlikView | DW com QVD

[mario_sergio_ti]

Diagrama (Exemplo):

Obs.: Para QlikView, alterar:

• QVF para QVW
• APP por DOC

> Confira outras publicações de MARIO SOARES:

https://community.qlik.com/t5/Qlik-Brasil/Publica%C3%A7%C3%B5es-de-MARIO-SOARES-Documentos-Aplicativ...

[vanessa_nery]

Olá, Mario
Tudo bem?

Muito bom o diagrama que você desenvolveu.
Você poderia me explicar o papel da App Model e do QVF Model?

Desde já agradeço pela atenção!

Vanessa Nery Guimarães

[mario_sergio_ti]

Olá Vanessa;

Tudo joia graças a Deus, espero que com você também.

Então... Existem algumas formas de arquitetar ETL para Qlik Sense / QlikView, podemos utilizar os mesmo para desenvolver scripts / algorítimos para montar uma estrutura de DW em arquivos com QVD... Ou até mesmo utilizando ferramentas externas com banco de dados...

Este diagrama apresenta um modelo que é um exemplo com a visão geral para ilustrar o fluxo, como podemos arquitetar uma estrutura de DW com arquivos de dados nativos do Qlik que é o QVD;

Neste modelo, temos quatro fases ... Segue alguns pontos sobre:

1. Extrações: Objetivo de extrair os dados necessários para as aplicações... Podendo ter carga incremental...
2. Transformações (Stage Area): Objetivo de organizar e transformar os dados extraídos em tabelas Fatos e Dimensões, aplicando as regras de negócios, utilizando Mapping (De-Para), Join, Concatenate, Where, While, For, Sub...
3. Transformações (Model): Objetivo de montar o modelo dimensional para algum fim, carregar tabelas Fatos e Dimensões relevantes sobre algum processo de análises... Modelo Estrela (Star Schema), Floco de Neve (Snow Flake)... AutoNumber...
4. Cargas (Layout): Objetivo de ilustrar o modelo construído em gráficos e objetos, realizando a carga binária do Model... Section Access...

Algumas vantagens:

• Reutilização e a racionalização de recursos, podendo haver modelos que utilizam as mesmas tabelas de Fatos e Dimensões, como por exemplo Dim_Clientes, Dim_Produtos...
• Se o modelo for grande, a carga binária poderá carregar rapidamente para aplicar algum Section Access
• Poderá disponibilizar o modelo dimensional para usuários com a permissão de desenvolvimento do Layout, via carga binária
• Centralização do modelo dimensional para várias (n) aplicações de Layout. Depende da estratégica...
• Otimização do tempo de execução de script com a utilização de arquivos de dados em QVD

Obs .: Quando o Qlik Sense termina de realizar a carga, a aplicação que está in-memory é armazenado/salvo também, por padrão, na versão Enterprise o arquivo fica armazenado na pasta QlikShare com o nome da ID da aplicação, mas se trata de um arquivo QVF que poderá ser carregada por outra aplicação via carga binária.

Fica inviável para mim destrinchar o "Como" fazer, mas apresentar um exemplo de modelo com a visão geral achei interessante propagar, para que todos saibam que é possível sim fazer ETL com Qlik Sense ou QlikView, eu considero que os códigos de ambos são ~90% iguais... Já trabalhei com outras plataforma de ETL, e vejo como muito produtivo trabalhar com a estrutura de DW com QVD...

ETL: https://help.qlik.com/pt-BR/sense/April2020/Subsystems/Hub/Content/Sense_Hub/LoadData/load-data.htm

Binary: https://help.qlik.com/pt-BR/sense/April2020/Subsystems/Hub/Content/Sense_Hub/Scripting/ScriptRegular...

QVD: https://help.qlik.com/pt-BR/sense/April2020/Subsystems/Hub/Content/Sense_Hub/Scripting/work-with-QVD...