Skip to main content
Announcements
Have questions about Qlik Connect? Join us live on April 10th, at 11 AM ET: SIGN UP NOW
cancel
Showing results for 
Search instead for 
Did you mean: 
Not applicable

Problema de performance grande Volume de Dados

Bom dia senhores.

Gostaria de pedir a ajuda de vocês para ver a possibilidade de me ajudarem com um problema muito grande que estou enfrentando, tenho um painel que bebe informações, todas, de arquivos QVDs os quais somam mais de 80 milhões de registros, e a performance dele esta péssima, o arquivo qvw possui mais de 850 mil KB e no painel não possui nenhuma chave sintética pois fiz as conexões entre tabelas tudo por link table, as fórmulas estão todas por variáveis no load e não sei mais o que fazer para melhorar isso, a navegabilidade está horrível.

Desde já agradeço muito a ajuda dos amigos.

15 Replies
mario_sergio_ti
Partner - Specialist
Partner - Specialist

Já usou Where Exists([KEY]) no script? No intuito de maximizar a proporção de subconjunto.

Consultor certificado | Quem compartilha, aprende!
https://www.linkedin.com/in/mariosergioti
mario_sergio_ti
Partner - Specialist
Partner - Specialist

Pode apresentar sua modelagem de dados?

Consultor certificado | Quem compartilha, aprende!
https://www.linkedin.com/in/mariosergioti
Not applicable
Author

Boa Tarde Mario, Primeiramente obrigado pela atenção, segue minha modelagem  e nas dimensões possíveis coloquei where exists sim.IMG_MODELO_PAINEL.PNG

Marcio_Campestrini
Specialist
Specialist

Bom dia

Primeiramente, existe uma tabela sintética que pode ser ajustada (entre as tabelas fct_address_type e dim_affiliate.

Em segundo lugar, você pode utilizar a ferramenta Document_analyzer, do rwunderlich‌. Ela ajuda muito para procurar melhorias a serem feitas na aplicação, desde formatação de campos para reduzir tamanho até campos não utilizados para eliminar. Baixe ela aqui.

Eu tenho uma aplicação com características semelhantes em termos de volume de informações. O que fiz foi reduzir ao máximo o número de tabelas. Por exemplo, criei somente uma fato, com identificação dos dados que estão lá, e depois utilizando SetAnalysis nas expressões.

Espero que ajude.

Márcio Rodrigo Campestrini
mario_sergio_ti
Partner - Specialist
Partner - Specialist

Amigo;

Tenho algumas recomendações:

  1. Reparar as tabelas sintéticas ($Syn 1 Table) | Causa lentidão na aplicação
  2. Definir um modelo de dados e testar

Grande abraço.

Consultor certificado | Quem compartilha, aprende!
https://www.linkedin.com/in/mariosergioti
Anonymous
Not applicable
Author

O Document_analyzer ajuda muito, diminui significativamente o tamanho de uma aplicação só eliminando os campos não utilizados.

Anonymous
Not applicable
Author

Outra sugestão para resolver essa tabela sintética, seria unir as tabelas:

  • dim_affiliate
  • fct_address_type
  • dim_address_description

Criando assim uma única tabela.

mario_sergio_ti
Partner - Specialist
Partner - Specialist

Este documento também é muito bom: Symbol Tables and Bit-Stuffed Pointers

Consultor certificado | Quem compartilha, aprende!
https://www.linkedin.com/in/mariosergioti
Not applicable
Author

Muito obrigado Pessoal pelas respostas e apoio, vou fazer e tratar como sugeriram e depois volto aqui para informar qual foi o resultado. Obrigado !!!