topic Re: Filtrando Dados na carga QVD (Where) in Brasil

Filtrando Dados na carga QVD (Where)

AndersonOberdan — Fri, 18 Aug 2017 16:05:30 GMT

Bom dia pessoal

Estou fazendo a leitura de um arquivo QVD que possui cerca de 50 milhões de registros. Se eu fizer a leitura "simples" ela acontece super rápido (menos de 1 minuto) porém quando uso a restrição "Where" para deixar de carregar os registros que não preciso a carga demora mais de 5 minutos.

Obviamente que isto deve acontecer porque o QVD não deve ser Indexado. Porém existe alguma forma de contornar isso?

Abraço a todos!

Re: Filtrando Dados na carga QVD (Where)

felipedl — Fri, 18 Aug 2017 16:36:51 GMT

Olá Anderson,

Isso é uma questão de como o Qlik trata a carga, como não são feitos filtros ou cálculos durante a carga do QVD, ele virá otimizado, sendo mais rápido.

Com a cláusula where irá deixar de ter essa performance otimizada, não sendo a questão de indexação.

O que você pode realizar é guardar todos os dados uma vez (processo de extração), depois realizar a transformação dos dados (cálculos e afins) e depois carregar os dados tratados para o aplicativo final.

Em cada etapa intermediária: Extração -> Transformação -> Aplicativo, serão salvos os QVDs, para que o aplicativo final apenas leia os arquivos transformados, assim melhorando a performance já que não é realizado nehum filtro ou cálculo.

Felipe.

Re: Filtrando Dados na carga QVD (Where)

fernando_tonial — Fri, 18 Aug 2017 18:01:00 GMT

Olá Anderson,

Na grande maiorias das cláusulas Where a leitura do QVD deixa de ser otimizada, para que continuem otimizada você pode utilizar o comando Exists(), com este comando normalmente a carga permanece otimizada.

Faça o teste por ai.

Don't Worry, be Qlik.

Tonial.

Re: Filtrando Dados na carga QVD (Where)

Marcio_Campestrini — Fri, 18 Aug 2017 18:35:00 GMT

Olá Anderson

Lembrando que o Exists deve ser simples, do tipo Exists(Campo). Outro exists não vai gerar leitura otimizada.

Para isso, crie anteriormente uma tabela de restrição.

Restricao:

Load * Inline [

Empresa

1 ];

Dados:

Load * From <seu arquivo>.qvd (qvd) Where Exists Empresa;

Drop table Restricao;

Re: Filtrando Dados na carga QVD (Where)

AndersonOberdan — Fri, 18 Aug 2017 18:37:25 GMT

Boa tarde Márcio

Entedi. Porém eu obviamente posso usar também "Not Exists()" ?

Re: Filtrando Dados na carga QVD (Where)

Marcio_Campestrini — Fri, 18 Aug 2017 18:55:28 GMT

Anderson, eu acho que não funciona com o not exists...

On Fri, Aug 18, 2017 at 3:44 PM Anderson Oberdan <qcwebmaster@qlikview.com>

Re: Filtrando Dados na carga QVD (Where)

Marcio_Campestrini — Thu, 24 Aug 2017 13:34:41 GMT

O problema foi resolvido? Se sim, marque as respostas úteis/correta para encerrar o tópico e ajudar a manter a comunidade organizada.

Re: Filtrando Dados na carga QVD (Where)

mario_sergio_ti — Fri, 25 Aug 2017 12:48:58 GMT

Para apoio;

Referência (Tópicos 2.3 e 2.4): Manual do usu&amp;aacute;rio | Como criar e gerir minhas perguntas?‌

Abraço.

Re: Filtrando Dados na carga QVD (Where)

AndersonOberdan — Fri, 25 Aug 2017 12:59:06 GMT

Desculpem estava sem tempo pra testar, porém hoje verifiquei que as respostas do Márcio e do Fernando ajudaram a resolver meu problema.

Fiz a carga da primeira tabela apenas com a relação de empresas que preciso buscar os dados. E nas demais cargas (movimento) usei a restrição "Where Exists" e foi bem mais rápido do que a busca textual "Where Empresa <> 'XYZ'" como estava fazendo antes.

Obrigado!