Skip to main content
Announcements
Have questions about Qlik Connect? Join us live on April 10th, at 11 AM ET: SIGN UP NOW
cancel
Showing results for 
Search instead for 
Did you mean: 
rbarbosa
Contributor III
Contributor III

Estratégia de Extração

Bom dia pessoal tudo bem?

Tenho um SQL hoje que carrega a partir de 19 tabelas uma espécie de dataware house, porém isso demora muita.

Cerca de 30 horas pra carregar 3 meses, acredito que isso tem gerado um impacto negativo em meu banco de dados e no processo de BI como um todo.

Pensei em mudar minha estratégia, gerando um qvd para cada tabela dessa e depois fazendo esse "data-warehouse" direto no qlikview, através dos scripts.

Eu teria um ganho real de performance trabalhando assim?

Rodolfo Barbosa
Labels (3)
14 Replies
lucianosv
Specialist
Specialist

Bom dia.

Vou dar uma opinião que talvez desagrade alguns, mas se você têm de fato um Data Warehouse o lugar dele é em um banco de dados.

Nenhuma ferramenta de visualização de dados deveria jamais fazer esse papel pois só ela mesma vai acessar essa informação.

Acredito que você deveria melhorar seus processos de ETL no banco.

rbarbosa
Contributor III
Contributor III
Author

Excelente, realmente esse era um problema, corrigido!

Rodolfo Barbosa
rbarbosa
Contributor III
Contributor III
Author

Imagina, desagradar de forma alguma... E concordo plenamente.. infelizmente hoje não temos um processo de ETL bem definido, muito menos uma infraestrutura pra isso.

Com as dificuldades de custo estamos trabalhando com recursos limitados

Seria um sonho de consumo um DW bem estruturado e tudo mais, fora o aprendizado, mas o que acontece, esse solução acabou sendo emergencial, pretendo em um momento com maior disponibilidade de recursos que seja melhorada.

Hoje a situação era muito onerosa ao banco pois buscávamos direto em nosso sistema transacional com um SQL de péssima qualidade em relação a performance.

Obrigado pelo comentário!

Rodolfo Barbosa
rbarbosa
Contributor III
Contributor III
Author

Clever, pensei nisso e fazer um "tuning" neste SQL, mas o mesmo é repleto de functions e outras complexidades, estou tentando simplificar isso um pouco. Muitas functions fazem consultas a outras dezenas de tabelas impactando e muito na performance

Rodolfo Barbosa
Marcio_Campestrini
Specialist
Specialist

Boa tarde Rodolfo

Conseguiu resolver o seu problema? Se sim, por gentileza marque a resposta correta para nos ajudar a manter a comunidade organizada.

Márcio Rodrigo Campestrini