Problema de performance grande Volume de Dados

[#1]

Bom dia senhores.

Gostaria de pedir a ajuda de vocês para ver a possibilidade de me ajudarem com um problema muito grande que estou enfrentando, tenho um painel que bebe informações, todas, de arquivos QVDs os quais somam mais de 80 milhões de registros, e a performance dele esta péssima, o arquivo qvw possui mais de 850 mil KB e no painel não possui nenhuma chave sintética pois fiz as conexões entre tabelas tudo por link table, as fórmulas estão todas por variáveis no load e não sei mais o que fazer para melhorar isso, a navegabilidade está horrível.

Desde já agradeço muito a ajuda dos amigos.

[Clever_Anjos]

Procure reduzir a quantidade de tabelas, tentando de aproximar de um modelo Star-Schema

[afurtado]

Aguinaldo,

alem do que já falaram, como estão as suas expressões ?

Usa set analysis, if, pick,...?   Muitas variáveis? Muitos aggr()...? Ver short circuit....também.

Ter 80 Milhões não quer dizer muito......Como estão os números distintos?  Esta sendo cuidado as chaves (autonumber()), datas (floor() para os datetimes) , Where exists() entre outros...?

Se na expressão tiver campos de tabelas diferentes – exemplo    sum(Pedido_Qtde * TabelaPreco_ValorUnitario) criara piora na performance (o Qlik terá que criar o lookup das tabelas..(join) ).

Ja vi aplicações com o dobro de registros e metade da maquina de outra base similar.....e a base com metade dos registros e o dobro da maquina estava apanhando......No caso, vários erros não somente de modelagem, mas na construção da aplicação em si, nas variáveis,dados únicos,expressões etc....Por isto normalmente é um conjunto de boas praticas que vão resultar em uma performance boa (ou excelente...).

[afurtado]

De um material da Qlik........

[mario_sergio_ti]

Amigo;

Se possível e for o caso, marque as respostas apropriadas como Útil e/ou Correta para que outros membros possam saber que a sua pergunta foi respondida.

Abraço.

[Marcio_Campestrini]

Conseguiu resolver seu problema? Marque as respostas como úteis/correta para fechar o tópico e mantermos a comunidade organizada.

[mario_sergio_ti]

Referência (Tópicos 2.3 e 2.4): Manual do usuário | Como criar e gerir minhas perguntas?‌

Abraço.