topic Re: Carga de Dados in Brasil

Carga de Dados

ruzivao1980 — Tue, 27 May 2014 14:43:22 GMT

Bom dia amigos...

Qual é o melhor procedimento para carga de dos, pois vejam bem o meu problema...

Tenho uma aplicação principal que me da os Dashboards padrões, de tempo, rendimento, etc... e várias abas trazendo seu detalhe, o cliente quer que essa aba principal, atualize de 15 em 15 minutos pois ele precisa dos dados na tela para analise e as outras diariamente, tem como fazer esse procedimento?

Re: Carga de Dados

Anonymous — Tue, 27 May 2014 15:07:02 GMT

Bom dia Roosevelt!

Creio que esse link possa lhe ajudar:

Painel que muda de aba automaticamente e atualize sozinho

Abraços!

Re: Carga de Dados

aderlanrm — Thu, 29 May 2014 02:50:17 GMT

Olá Roosevelt,

Dê uma olhada na ajuda (F1), função Buffer: "Buffer (Stale After x.x hour)"

Também é possível fazer desenvolvimento em camada, criando um extrator.qvw ou se você tiver o QlikView Publish usar os script direto lá.

Abraço.

Re: Carga de Dados

ruzivao1980 — Thu, 29 May 2014 14:15:38 GMT

Bom dia Aderlan, tudo bem?

Li o comando Buffer e até coloquei ele aqui na minha aplicação, o que eu não entendi direito... é como ele pode me ajudar... pois o tempo de carga não diminuiu....

Li tambem a seguinte explicação:

Isso significa que o buffer de QVD será invalidado por qualquer alteração no comando load ou select seguinte.

Se eu tiver mais de um select não posso usar, pois vai invalidar?

Re: Carga de Dados

aderlanrm — Thu, 29 May 2014 14:30:44 GMT

Bom dia Roosevelt,

O seu QVW vai ficar agendado para ser executado a cada 15 minutos, mas nos LOADs que você não quer que atualize com tanta frequência, usará o Buffer, mas só nos LOADs que a frequência é diferente de 15 minutos.

Ex:

// recarrega sempre

LOAD * FROM Vendas;

// recarrega de hora em hora

Buffer (Stale After 1 hour)

LOAD * from Entregas;

// recarrega uma vez por dia

Buffer (Stale After 1 day)

LOAD * FROM Produtos;

Isso no mesmo script.

A explicação sobre invalidação eu desconheço, teria que ver o contexto que se refere.

Dependendo do volume de dados, talvez seja mais interessante fragmentar a extração.

Abraço.

Re: Carga de Dados

ruzivao1980 — Thu, 29 May 2014 14:35:49 GMT

top de mais isso, no meu caso eu uso SELECTS, posso usar esses tempos tb?

Re: Carga de Dados

aderlanrm — Thu, 29 May 2014 14:49:59 GMT

Sim, pode usar a vontade.

Abraço.

Re: Carga de Dados

ruzivao1980 — Thu, 29 May 2014 14:59:45 GMT

outra coisa... se eu só colocar Buffer, nessa de 15 minutos... vai melhorar o desempenho?

Re: Carga de Dados

aderlanrm — Thu, 29 May 2014 19:41:20 GMT

Você pode usar buffer sempre que precisar, que no mesmo script, tenha tempos de carga diferentes.

Porém, o buffer só é valido na execução, logo, colocar buffer de 1 hora em scripts que são executados uma vez por dia, não faz sentido, concorda? Rsrsrs...

O mesmo acontece em script que são executado com menos de 1 hora, o desempenho será melhor nas execuções parciais, quando o buffer atingir a hora limite, o script será mais lento, pois terá mais "trabalhos" para executar.

Por isso que dependendo do volume de dados, a recomendação é criar camadas, ou seja, ter um arquivo extrator que cria arquivos QVDs com as frequências e volumes de dados necessários e no QVW da aplicação, apenas a leitura desses QVDs.

Cada caso é um caso.

Abraço.

Re: Carga de Dados

ruzivao1980 — Thu, 29 May 2014 19:57:26 GMT

Entendi...

Estou batendo nisso, pq vou me deparar com casos que tenho vários dados de anos anteriores... e não quero que sempre ele le tudo...

Como funcionaria a Recarga Parcial, nestes casos?

Re: Carga de Dados

aderlanrm — Thu, 29 May 2014 21:19:05 GMT

Nesse caso, o recomendado é carga incremental mesmo.

Dá uma olhada nesse artigo (são 3 partes): qlikblog.com.br/2011/08/11/qvd-arquivos-qvd

Tem tudo que precisa.

Abraço.