topic File grows a lot when joining tables in QlikView

File grows a lot when joining tables

paulinhok14 — Wed, 25 Nov 2020 16:16:04 GMT

Guys good morning,

I have a qvw application that its size is about 7MB.

The table layout of my file is as follows:

However, due to an application need, I am doing (at the end of the script) a left join of the Info_Tarefa table to the Frota_Aeronaves table, so I can use a concatenated field between 2 fields that are in the table on the left, and 1 field that is in the table on the right.

By simply doing this left join, my application grows in size absurdly, I've already used NoConcatenate to make sure that Qlik is not keeping the Frota_Aeronaves table in the script, but I do not know what might be happening.

12 million lines are being loaded in my new final table, and my file, with just that snippet of code from the image, goes from 7MB to 133MB ...

Anyone have any idea what might be happening?

Thank you and a hug to everyone!

Re: File grows a lot when joining tables

felipedl — Fri, 18 May 2018 14:26:13 GMT

My guess there are no common fields on both tables when you're joining and so, it's making a full join (outter join).

Example:

Data:

Load

From [Whatever]

left join (Data)

Load

From [Whatever];

That will make an outter join, since no fields are common.

Can you share the app?

Felipe.

Re: File grows a lot when joining tables

paulinhok14 — Fri, 18 May 2018 16:53:45 GMT

Felip boa tarde! Obrigado pela resposta!

Eu acho que minha questão duplicou na hora de postar mas sem problema.

No outro tópico me ajudaram a entender o problema. Na verdade existem sim campos comuns nas duas tabelas, é o Modelo&Tarefa, como está na primeira imagem, então é o left join que está sendo feito.

Porém na minha tabela Frota_Aeronaves existem vários registros de Modelo&Tarefa, segue imagem:

Vou tentar te explicar o por que estou tentando fazer essa junção:

Meu aplicativo basicamente exibe quais partes (PN) são usadas em uma tarefa (Tarefa) e quando (Mes_Falha).

Mas, em uma linha do tempo, esses dados não estão exibindo o cenário real para mim, porque:

Primeiro problema: Suponha que eu tenha 2 ou mais tarefas diferentes que usam a mesma peça (PN) e as tarefas estão sendo executadas no mesmo mês (Mes_Falha), para o mesmo MODELO de aeronave, e uma tarefa pode ter 1 ou mais PNs. MAS, as tarefas serão feitas por diferentes aeronaves (elas possuem diferentes números de série, que é um campo presente em Frota_Aeronaves).

Segundo Problema: Imagine também que a mesma aeronave (apenas um Serial Number (S/N) ), no mesmo mês, usa o mesmo PN, MAS, para diferentes tarefas.

Se em um gráfico eu uso apenas a expressão = Count (PN), ele não está considerando as situações que eu quis dizer antes, então eu queria criar um campo concatenado PN + Modelo&Tarefa + [S/N]

Então, se eu contar este novo campo concatenado no meu gráfico, ele resolverá meu problema, o problema é, PN e Modelo&Tarefa estão na tabela Info_Tarefa, e S/N e Modelo&Tarefa estão na tabela Frota_Aeronaves, é por isso que to tentando juntar as tabelas.

Consegue enxergar outra maneira de resolver o problema?