topic Carga de dados automatica muito lenta in Brasil

Carga de dados automatica muito lenta

vitexo87 — Wed, 23 Nov 2016 21:15:11 GMT

Ola,

Estou com um problema que não estou entendo o motivo dele,

Eu tenho um aplicação que ela tem 70 MB, a carga manual dela através do QlikView Desktop está levando no maximo 20 minutos, porem a sua carga automatica pelo QlikView Management está levando mais de 70 minutos isso quando a carga é concluida com exito.

durante uma dessas cargas verifiquei o log que é gerado e nenhum erro é apresentado, segue um print:

verifiquei o desempenho da maquina durante o processo de carga e nenhum pico de processamento ou de utilização de memoria ram é apresentado.

oque mais posso fazer para tentar descobrir a causa desse problema?

obrigado

Re: Carga de dados automatica muito lenta

Marcio_Campestrini — Thu, 24 Nov 2016 09:30:32 GMT

Bom dia

Para analisar isso é importante verificar o log da aplicação e identificar qual a operação está demorando. Existe uma ferramenta do rwunderlich‌ chamada ScriptLogAnalyzer (http://qlikviewcookbook.com/tools/) que vai ajudar a identificar as operações que estão demorando muito.

Se possível poste o log aqui para ajudarmos.

Re: Carga de dados automatica muito lenta

vitexo87 — Thu, 24 Nov 2016 13:32:59 GMT

obrigado,

vou baixar e executar o ScriptlogAnalyzer, porem são todas as aplicações que estão apresentando o problema, acredito que o erro seja no qlikview management.

Vou postar o log mas vi que ao fazer o loading do arquivo .qvw o processo de carga inicia e não termina

Obs: a uma semana atras o erro não ocorria.

Re: Carga de dados automatica muito lenta

nicolett_yuri — Thu, 24 Nov 2016 13:56:39 GMT

Se são todas as aplicações, então você precisa pensar em:

Seu servidor esta sobrecarregado? CPU? Memória?
Esse problema ocorre só em determinado período do dia?
Quantas apps seu ambiente possui?
Existem muitas cargas ocorrendo ao mesmo momento?
O serviço de recarga e o de acesso estão no mesmo servidor físico?
Qual a quantidade de usuários simultâneos em seu ambiente?

Re: Carga de dados automatica muito lenta

afurtado — Thu, 24 Nov 2016 15:07:35 GMT

Alem do que o nicolett.yuri‌ comentou, tem antivírus rodando e verificando a(s) pasta(s) do Qlik?

Conector 32 ou 64?

Tem serviços concorrendo com o Qlik (ja vi tentativa de colocar serviços de câmeras rodando junto com o Qlik,,,,fora bancos SQL e etc... )?

SELECT * FROM .... ? Se tiver e a tabela tiver muitos campos fica pesado.....Vi casos de cair de +20minutos para 2 minutos a mesma tabela colocando os campos necessários.....

Tem Group by ? Nao do SQL, mas do Qlik, se for Resident ou QVD muda a performance.....

RAM e Cores, tem suficiente?

Tem mais coisas para ver, mas já tem um inicio....

Re: Carga de dados automatica muito lenta

afurtado — Thu, 24 Nov 2016 15:09:52 GMT

e esqueci.... A analise do LOG da uma grande ideia de onde esta sendo perdido tempo na carga , conforme o marcio.campestrini também falou.......

Re: Carga de dados automatica muito lenta

vitexo87 — Thu, 24 Nov 2016 16:50:40 GMT

Yuri, verifiquei todas essas questões, o erro ocorre em qualquer horario, nesse servidor temos apenas 4 aplicações que sofrem cargas, essas cargas quando estavam funcionando levava no maximo 30 minutos com todas as cargas rodando simultaneamente, eu desabilitei todos os acessos dos usuarios as aplicações para efetuar os testes e mesmo assim o erro persistiu, na semana passada estava funcionando perfeitamente.

Verifiquei serviços que estão rodando na maquina e é uma maquina exclusiva para o qlikview, nenhum outro software está instalado nela nem mesmo softwares de SGBD apenas o qlikview mesmo, a maquina tem um processador intel xeon de 8 nucleos e 32 gb de ram e um hd de 1 tb.

os scripts de carga das aplicações estão ok, nenhum select * from... dois ou três group by que se executados de qualquer lugar da rede funcioanan normalmente.

lembrando que as cargas ocorrem normalmente executando elas de modo manual, o problema está quando o QMC tenta exeutar a carga, logo irei disponibilizar o log

Obrigado

Re: Carga de dados automatica muito lenta

vitexo87 — Thu, 24 Nov 2016 17:38:10 GMT

segue o link para acesso ao log

https://drive.google.com/open?id=0BzCkpM-t1edGdVFwYVZDaUpZdlU

Re: Carga de dados automatica muito lenta

Marcio_Campestrini — Thu, 24 Nov 2016 18:28:12 GMT

Vitor

Precisamos do log da aplicação, e não o log do QMC.

Para ativar o log, vá em propriedades do documento e marque a opção de gerar log.

Re: Carga de dados automatica muito lenta

vitexo87 — Thu, 24 Nov 2016 19:50:53 GMT

o arquivo de log da aplicação não está sendo gerado, eu tenho apenas o log dessas aplicações de quando a carga estava ocorrendo, esse log só é gerado quando a carga é completada?

Re: Carga de dados automatica muito lenta

nicolett_yuri — Fri, 25 Nov 2016 11:50:14 GMT

Faça testes menores para ver se o QMC executa, por exemplo:

Crie uma app que faz um select em determinada tabela e gere um qvd qualquer, veja se essa carga é executava via qmc
Pegue uma app que esta dando problema de carga e coloque um exit script em algum ponto dela, veja se a carga é executada

Pode ser simplesmente que o seu QMC tenha dado algum bug, é possível. Mas se ele rodar o primeiro cenário (criar uma nova app), então pode ser algum processo existente em sua carga que esta travando. O que pode ser? Consulta em algum banco, gravação de qvd em algum diretório de rede ou local.... tem que investigar.

Re: Carga de dados automatica muito lenta

Marcio_Campestrini — Fri, 03 Mar 2017 19:51:29 GMT

Boa tarde

Conseguiu resolver o seu problema? Se sim, por gentileza marque a resposta correta para nos ajudar a manter a comunidade organizada.