topic Re: Problema de performance grande Volume de Dados in Brasil

Problema de performance grande Volume de Dados

Wed, 15 Mar 2017 13:26:49 GMT

Bom dia senhores.

Gostaria de pedir a ajuda de vocês para ver a possibilidade de me ajudarem com um problema muito grande que estou enfrentando, tenho um painel que bebe informações, todas, de arquivos QVDs os quais somam mais de 80 milhões de registros, e a performance dele esta péssima, o arquivo qvw possui mais de 850 mil KB e no painel não possui nenhuma chave sintética pois fiz as conexões entre tabelas tudo por link table, as fórmulas estão todas por variáveis no load e não sei mais o que fazer para melhorar isso, a navegabilidade está horrível.

Desde já agradeço muito a ajuda dos amigos.

Re: Problema de performance grande Volume de Dados

mario_sergio_ti — Wed, 15 Mar 2017 20:08:02 GMT

Já usou Where Exists([KEY]) no script? No intuito de maximizar a proporção de subconjunto.

Re: Problema de performance grande Volume de Dados

mario_sergio_ti — Wed, 15 Mar 2017 20:08:32 GMT

Pode apresentar sua modelagem de dados?

Re: Problema de performance grande Volume de Dados

Wed, 15 Mar 2017 21:06:05 GMT

Boa Tarde Mario, Primeiramente obrigado pela atenção, segue minha modelagem e nas dimensões possíveis coloquei where exists sim.

Re: Problema de performance grande Volume de Dados

Marcio_Campestrini — Thu, 16 Mar 2017 11:04:42 GMT

Bom dia

Primeiramente, existe uma tabela sintética que pode ser ajustada (entre as tabelas fct_address_type e dim_affiliate.

Em segundo lugar, você pode utilizar a ferramenta Document_analyzer, do rwunderlich‌. Ela ajuda muito para procurar melhorias a serem feitas na aplicação, desde formatação de campos para reduzir tamanho até campos não utilizados para eliminar. Baixe ela aqui.

Eu tenho uma aplicação com características semelhantes em termos de volume de informações. O que fiz foi reduzir ao máximo o número de tabelas. Por exemplo, criei somente uma fato, com identificação dos dados que estão lá, e depois utilizando SetAnalysis nas expressões.

Espero que ajude.

Re: Problema de performance grande Volume de Dados

mario_sergio_ti — Thu, 16 Mar 2017 12:07:55 GMT

Amigo;

Tenho algumas recomendações:

Reparar as tabelas sintéticas ($Syn 1 Table) | Causa lentidão na aplicação
- Exemplo: Auternumber(ADDRESS_SK&'-'&AFFILIATE_SK,'SK1') As '%SK_DIM' //Veja um bom alias
- Fonte: https://help.qlik.com/pt-BR/qlikview/12.1/Subsystems/Client/Content/Scripting/synthetic-keys.htm
Definir um modelo de dados e testar
- A ferramenta Qlik reagi um pouco diferente no quesito performance em relação aos modelo de dados conhecidos no mercado como Star, SnowFlake, OneTable... O paradigma se quebra ao decorrer do volume de dados entre outros aspectos, é necessário saber como a ferramenta funciona.
- Teste de performance: A Myth about the Number of Hops
- Estrutura interna de tabelas: Symbol Tables and Bit-Stuffed Pointers
- Comportamento on-demand frond-end: Logical Inference and Aggregations

Grande abraço.

Re: Problema de performance grande Volume de Dados

Anonymous — Thu, 16 Mar 2017 12:52:38 GMT

O Document_analyzer ajuda muito, diminui significativamente o tamanho de uma aplicação só eliminando os campos não utilizados.

Re: Problema de performance grande Volume de Dados

Anonymous — Thu, 16 Mar 2017 13:06:30 GMT

Outra sugestão para resolver essa tabela sintética, seria unir as tabelas:

dim_affiliate
fct_address_type
dim_address_description

Criando assim uma única tabela.

Re: Problema de performance grande Volume de Dados

mario_sergio_ti — Thu, 16 Mar 2017 13:17:01 GMT

Este documento também é muito bom: Symbol Tables and Bit-Stuffed Pointers

Re: Problema de performance grande Volume de Dados

Thu, 16 Mar 2017 14:31:57 GMT

Muito obrigado Pessoal pelas respostas e apoio, vou fazer e tratar como sugeriram e depois volto aqui para informar qual foi o resultado. Obrigado !!!

Re: Problema de performance grande Volume de Dados

Clever_Anjos — Thu, 16 Mar 2017 15:38:48 GMT

Procure reduzir a quantidade de tabelas, tentando de aproximar de um modelo Star-Schema

Re: Problema de performance grande Volume de Dados

afurtado — Sat, 18 Mar 2017 15:38:41 GMT

Aguinaldo,

alem do que já falaram, como estão as suas expressões ?

Usa set analysis, if, pick,...? Muitas variáveis? Muitos aggr()...? Ver short circuit....também.

Ter 80 Milhões não quer dizer muito......Como estão os números distintos? Esta sendo cuidado as chaves (autonumber()), datas (floor() para os datetimes) , Where exists() entre outros...?

Se na expressão tiver campos de tabelas diferentes – exemplo sum(Pedido_Qtde * TabelaPreco_ValorUnitario) criara piora na performance (o Qlik terá que criar o lookup das tabelas..(join) ).

Ja vi aplicações com o dobro de registros e metade da maquina de outra base similar.....e a base com metade dos registros e o dobro da maquina estava apanhando......No caso, vários erros não somente de modelagem, mas na construção da aplicação em si, nas variáveis,dados únicos,expressões etc....Por isto normalmente é um conjunto de boas praticas que vão resultar em uma performance boa (ou excelente...).

Re: Problema de performance grande Volume de Dados

afurtado — Sun, 19 Mar 2017 01:08:29 GMT

De um material da Qlik........

Re: Problema de performance grande Volume de Dados

mario_sergio_ti — Mon, 15 May 2017 14:59:52 GMT

Amigo;

Se possível e for o caso, marque as respostas apropriadas como Útil e/ou Correta para que outros membros possam saber que a sua pergunta foi respondida.

Abraço.

Re: Problema de performance grande Volume de Dados

Marcio_Campestrini — Wed, 24 May 2017 18:00:08 GMT

Conseguiu resolver seu problema? Marque as respostas como úteis/correta para fechar o tópico e mantermos a comunidade organizada.

Re: Problema de performance grande Volume de Dados

mario_sergio_ti — Wed, 24 May 2017 18:21:15 GMT

Referência (Tópicos 2.3 e 2.4): Manual do usu&amp;aacute;rio | Como criar e gerir minhas perguntas?‌

Abraço.