LOAD demorando muito tempo para executar

[branderbwcs]

Prezados amigos, boa tarde!

Mais uma vez preciso de ajuda!!! Recentemente implantamos o conceito de carga incremental dos dados onde estamos gerando um arquivo (qvd) diariamente somente com informações do dia. Com a alteração tivemos uma melhora de carga de 3 horas e meia, no entanto ao fazer o LOAD dos dados para o painel principal o mesmo está demorando muito para realizar a execução, passou de 3 minutos para 1 hora e meia.

Pesquisei um pouco na internet sobre recarga parcial e não achei viável pois muitos relataram problemas ao utilizar a funcionalidade, outra solução seria desabilitar a leitura dos LOGS do (qvd) o que iria melhorar a carga.

Gostaria de saber se alguém sabe como desabilitar a leitura dos LOGS, devo codificar algo ao salvar os qvds ou no arquivo LOAD? Ou é algo relacionado a configuração do servidor?

Att,

Brander Weten.

[#2]

Bom Dia Amigo...

Você está gerando arquivo diario mesmo, um Qvd por dia ou vi errado?
Outra coisa: For costuma deixar processamento mais lento porque você acabar varrendo a mesma cosia varias e varias vezes não é tão otimizado assim, mas será que você fizer Mapping não seria melhor com ApplyMaping ?

eu vi que só no final você fecha a conexão de dados, teu DBA ainda não quis te matar ficando 1 hora plugado no banco ? rs

Acho que você precisa primeiro extrair tudo do banco, em cima dessa gama de dados do banco fazer a tratativa para gerar seu arquivo diario.

[branderbwcs]

Julio, as suas considerações são válidas, no entanto eu ocupo 6 minutos do banco durante a madrugada e isso não é considerado algo ruim. Eu gero um qvd por dia e meu problema é realizar o LOAD dos qvds quando a quantidade de registros ultrapassa dez milhões.

[#4]

Você usa distinct?
outra coisa, tem um arquivo seu que tem 10 milhoes correto?

Pq eu estou imaginando fazer for de 10 milhoes de registros. você for varrer 10 milhoes de registro vai demorar sendo 1 a 1

[nicolett_yuri]

Você perde a performance de leitura do QVD quando cria uma coluna com valor Nulo e renomeia outras.

Tentei melhorar seu script para ter uma leitura otimizada

[Clever_Anjos]

Já conseguiu a resposta? Se sim, escolha uma e marque como "Correta" para fechar o tópico e nos ajudar a manter a comunidade organizada

Have fun, be Qlik

[branderbwcs]

Clever ainda não existe uma resposta correta, acho que não seria bacana fechar a pergunta.

[Clever_Anjos]

Mas você está com esse problema desde 2014?

[Clever_Anjos]

Anexe aqui por favor o log da execução do documento (fica junto do QVW).

Existe uma ferramenta que identifica que passo do script é o mais demorado

[#10]

Qual o nome dessa ferramenta?

[Clever_Anjos]

http://qlikviewcookbook.com/download/script-log-analyzer/