Qlik Community

Qlik Brasil

Group community for Brazil users. discussion only in Portuguese.

Highlighted
Not applicable

Problema de performance grande Volume de Dados

Bom dia senhores.

Gostaria de pedir a ajuda de vocês para ver a possibilidade de me ajudarem com um problema muito grande que estou enfrentando, tenho um painel que bebe informações, todas, de arquivos QVDs os quais somam mais de 80 milhões de registros, e a performance dele esta péssima, o arquivo qvw possui mais de 850 mil KB e no painel não possui nenhuma chave sintética pois fiz as conexões entre tabelas tudo por link table, as fórmulas estão todas por variáveis no load e não sei mais o que fazer para melhorar isso, a navegabilidade está horrível.

Desde já agradeço muito a ajuda dos amigos.

15 Replies
mario_sergio_ti
Valued Contributor

Re: Problema de performance grande Volume de Dados

Já usou Where Exists([KEY]) no script? No intuito de maximizar a proporção de subconjunto.

mario_sergio_ti
Valued Contributor

Re: Problema de performance grande Volume de Dados

Pode apresentar sua modelagem de dados?

Not applicable

Re: Problema de performance grande Volume de Dados

Boa Tarde Mario, Primeiramente obrigado pela atenção, segue minha modelagem  e nas dimensões possíveis coloquei where exists sim.IMG_MODELO_PAINEL.PNG

MCampestrini
Valued Contributor

Re: Problema de performance grande Volume de Dados

Bom dia

Primeiramente, existe uma tabela sintética que pode ser ajustada (entre as tabelas fct_address_type e dim_affiliate.

Em segundo lugar, você pode utilizar a ferramenta Document_analyzer, do rwunderlich‌. Ela ajuda muito para procurar melhorias a serem feitas na aplicação, desde formatação de campos para reduzir tamanho até campos não utilizados para eliminar. Baixe ela aqui.

Eu tenho uma aplicação com características semelhantes em termos de volume de informações. O que fiz foi reduzir ao máximo o número de tabelas. Por exemplo, criei somente uma fato, com identificação dos dados que estão lá, e depois utilizando SetAnalysis nas expressões.

Espero que ajude.

Márcio Rodrigo Campestrini
mario_sergio_ti
Valued Contributor

Re: Problema de performance grande Volume de Dados

Amigo;

Tenho algumas recomendações:

  1. Reparar as tabelas sintéticas ($Syn 1 Table) | Causa lentidão na aplicação
  2. Definir um modelo de dados e testar

Grande abraço.

thigobr83
New Contributor III

Re: Problema de performance grande Volume de Dados

O Document_analyzer ajuda muito, diminui significativamente o tamanho de uma aplicação só eliminando os campos não utilizados.

thigobr83
New Contributor III

Re: Problema de performance grande Volume de Dados

Outra sugestão para resolver essa tabela sintética, seria unir as tabelas:

  • dim_affiliate
  • fct_address_type
  • dim_address_description

Criando assim uma única tabela.

mario_sergio_ti
Valued Contributor

Re: Problema de performance grande Volume de Dados

Este documento também é muito bom: Symbol Tables and Bit-Stuffed Pointers

Not applicable

Re: Problema de performance grande Volume de Dados

Muito obrigado Pessoal pelas respostas e apoio, vou fazer e tratar como sugeriram e depois volto aqui para informar qual foi o resultado. Obrigado !!!