Trabalhar com MUITAS informações

[joffremota]

Bom dia a todos!

Estou com uma situação meio complicada. Um dos clientes mais antigos está tendo problemas de performance por causa da grande quantidade de dados que estão sendo carregados no QlikView.

Para se ter ideia, um dos arquivos QVDs da extração de dados (Extraction) está ficando com aproximadamente 8 GB. Após a transformação (Transformation), há casos de QVDs com mais de 20 GB e isso reflete diretamente no arquivo de apresentação (Load) que está ficando com cerca de 300 MB. Um simples filtro demora a ser efetivado e o cliente não está gostando muito disso.

Sugeri que diminuíssem o intervalo de informações lidas do banco (atualmente estão lendo dados de janeiro de 2008 até novembro de 2014) mas foram irredutíveis e afirmaram que precisa continuar como está.

Gostaria de saber se alguém tem alguma sugestão de como melhorar a performance tanto da carga (Extraction e Transformation) quanto da apresentação (Load), além é claro de um Upgrade na máquina que hospeda o QlikView Server (atualmente eles têm um Intel Xeon E5-2620 com 16 GB de RAM).

Obrigado.

Atenciosamente,

Joffre Mota

[pablolabbe]

Irregular BI Blog - QlikView data integration in a Java world with QVX... - A Blog about BI and Data...

[Anonymous]

O Ralf possui uma versão que também faz isso mas possui algumas limitações.

Esta diretamente dependente da memoria da maquina onde gera o QVD mesmo usando

uma biblioteca da Apache (antiga) que cria um HashMap Ordenado em disco (alias n).

O Exemplo que ele me enviou carrega a partir dum CSV.

Eu faço a partir de qualquer source inclusivé a partir de outro QVD e QVX.

De qualquer forma o Ralf fez um excelente trabalho.

[guilherme_olive]

Olhando primeiro para o Hardware que vai receber o Qlikview Server é necessário se atentar para algumas configurações que podem impactar diretamente no desempenho do Qlikview Server.

Posso dizer isso por experiencia própria.

Um cliente estava tendo problema para realizar o reload de um determinado aplicativo.

O aplicativo demorava aproximadamente 1 hora para executar o reload no servidor.

Em meu notebook o aplicativo carregava em aproximadamente 2 minutos (Isso mesmo 2 minutos).

Pequeno detalhe, o Servidor dele têm 32 processadores (64 com Hyperthreading ativado) e 512GB de memória.

Passei a tabela abaixo para o cliente e a equipe de infra fez as alterações.

Após as alterações o reload do aplicativo demorou menos de 1 minuto para ser executado no Servidor.

[afurtado]

Bom dia Guilherme.

Sempre levo em consideração as informações que você passou nos clientes que trabalho.

Agora nunca havia feito testes ou mesmo visto uma diferença de performance tão grande…..

Obrigado por compartilhar.

Att,

Alessandro Furtado

De: Guilherme Oliveira

Enviada em: terça-feira, 23 de dezembro de 2014 10:46

Para: ALESSANDRO FURTADO

Assunto: Re: - Trabalhar com MUITAS informações

<http://community.qlik.com/> Qlik Community

Trabalhar com MUITAS informações

reply from Guilherme Oliveira <http://community.qlik.com/people/guilherme.oliveira?et=watches.email.thread> in Qlik Brasil - View the full discussion <http://community.qlik.com/message/685170?et=watches.email.thread#685170>

[Anonymous]

Usando o meu metodo pode usar qualquer configuração no Servidor.

O Qlik usa a memoria toda que tiver disponivel para gerar QVD's- Quanto maior o nº de colunas e os valores distinctos de linhas maior o espaço ocupado em memoria.

Em breve vou distribuir um documento sobre este assunto.

[guilherme_olive]

O Aplicativo em questão não gera QVD. Ele faz a leitura dos arquivos de LOG do Qlikview e este foi desenvolvido pela própria Qlik. O volume de informações era minimo.