Qlik Community

Qlik Brasil

Group community for Brazil users. discussion only in Portuguese.

Highlighted
rbarbosa
Not applicable

Infraestrutura Ideal

Bom dia Pessoal, tudo bem? Desde já agradeço pela ajuda,

Trabalho Atualmente numa infra a qual não acho adequada para o Qllik, minha extração é feita do Oracle (Transacional), o mesmo que os usuários utilizam, direto para o Qlik.

Não consegui identificar boas práticas, ou a melhor em relação a isso, gostaria de informações de cenários que já tenham utilizado, ou algum exemplo.

Pensei em algo do tipo:

Oracle Transacional -> ETL ( Pentaho) -> Oracle BI ( DW) -> Extração Qlikview -> QVD -> QVW

Hoje é algo parecido com

Oracle Transacional -> SQL -> Extração Qlikview -> QVD -> QVW

Ainda não consegui montar o melhor layout nesse sentido, minha intenção é não gerar I/O no banco de produção, para que as aplicações não fiquem lentas e etc. E se possível otimizar minhas cargas no BI. Caso não tenha ilustrado bem o cenário, posteriormente estarei enviando uma ilustração do mesmo.

Tags (1)
1 Solution

Accepted Solutions
nicolett_yuri
Not applicable

Re: Infraestrutura Ideal

Rodolfo, você pode escolher a ferramenta que deseja para criar o seu ETL, já tive clientes que não queriam a ETL dentro do qlikview, pois se precisassem alterar o FrontEnd (camada de visualização de dados para os usuários) eles poderiam fazer, pois todo o tratamento de dados estava em SQL.

A "maior vantagem" do publisher é poder isolar o serviço de cargas em outro ambiente, outro servidor, ou seja, suas cargas não irão competir com o acesso dos usuários.

6 Replies
Clever_Anjos
Not applicable

Re: Infraestrutura Ideal

Utilizando qualquer ETL (Pentaho ou via script Qlik) sempre irá precisar consultar seu banco.

Refaça seus extratores utilizando técnicas como Carga Incremental, Segmentação por Datas, etc que você irá ter sucesso

nicolett_yuri
Not applicable

Re: Infraestrutura Ideal

Rodolfo, não existe uma regra da melhor estrutura ou melhor forma de se fazer, mas se você não quer "dar muito trabalho" para o seu banco de dados, então te oriento a apenas fazer carga incremental, quando possível, das tabelas que serão utilizadas em seus projetos e deixar toda a etapa de transformação ser realizada no qlikview, ou seja, você não vai realizar nenhum JOIN ou transformação na extração dos dados de seu banco, apenas fazer uma leitura de Select campos where data>x.

rbarbosa
Not applicable

Re: Infraestrutura Ideal

Entendi, porém preciso carregar informações do passado toda vez que recarrego.

Exemplo ao carregar o mês de fevereiro, atualizo todos os anos e meses passados, por questões de regra de negócio, pois estes podem ter passado por modificações.

E até porque alguns dados demoram até 2 meses para serem consolidados.

A incremental seria a solução? Pensei em carregar talvez só essa tabela/estrutura a parte, de forma total, o que queria fugir mesmo, era dessa grande movimentação de tabelas.

yuri.nicolett

Foi uma estratégia que tinha pensado, fazer toda extração, sem muita condições, apenas periodo, e realizar todo tratamento no qlik, o problema que com isso teria que passar alguns funções que rodam no oracle( bem lentas inclusive) também para extração, ou realizar, na transformação (calculo de preço por exemplo) hoje busco através de funções.

Clever_Anjos
Not applicable

Re: Infraestrutura Ideal

Não sei os detalhes do seu problema, mas eu geraria QVD´s separados por mês, reprocessando no Qlik apenas os "n" meses que podem sofrer alterações

rbarbosa
Not applicable

Re: Infraestrutura Ideal

Galera, encontrei essa imagem que define um cenário Qlik quase que padrão.

Vê se entendi corretamente por gentileza, o tratamento que faço antes da camada onde o Qlik conecta é totalmente independente, então posso fazer dar forma que preferir, pentaho, power center, etcqlikviewW.jpg

No meu caso não tenho o publisher., no meu caso o agendamento é feito via QMC.

nicolett_yuri
Not applicable

Re: Infraestrutura Ideal

Rodolfo, você pode escolher a ferramenta que deseja para criar o seu ETL, já tive clientes que não queriam a ETL dentro do qlikview, pois se precisassem alterar o FrontEnd (camada de visualização de dados para os usuários) eles poderiam fazer, pois todo o tratamento de dados estava em SQL.

A "maior vantagem" do publisher é poder isolar o serviço de cargas em outro ambiente, outro servidor, ou seja, suas cargas não irão competir com o acesso dos usuários.