Qlik Community

Qlik Brasil

Group community for Brazil users. discussion only in Portuguese.

Highlighted
welingtonborges
New Contributor II

Qlik que consegue importar dados com muitos registros

Bom dia pessoal, estou tentando fazer a importação de uma tabela do meu banco de dados, porém a quantidade de informações dessa tabela é muito alta aproximadamente 20 milhões de registros, além de demorar muito a importação em torno de uns 25 a 30 minutos a ferramenta sempre para a importação acusando que foi impossível importar os dados, alguém já passou por uma situação semelhante e que conseguiu resolverqlikImportacao.png?

Att,

Welington Borges

Tags (1)
7 Replies
elvis_schwarz
New Contributor III

Re: Qlik que consegue importar dados com muitos registros

Bom dia Wellington

20 Milhões de registros não é um volume muito grande para o Qlik carregar, pode ser limitação da maquina que ele está rodando ou no modelo de dados. Para a comunidade te auxiliar na modelagem de dados solicito que anexe um print de seu modelo de dados.

Att

thiago_justen
Valued Contributor III

Re: Qlik que consegue importar dados com muitos registros

Wellington,

Você está utilizando a importação de tabela via Gerenciador de Dados, correto? Seria possível, você testar a criação de uma conexão na janela de edição de script (ainda que seja para conectar-se a uma pasta contendo planilhas, ou até conexão direta com o bd via ODBC por exemplo)?

Qlik Help - Criando Conexão de Dados

Abs e Sucesso!!

Thiago Justen Teixeira Gonçalves
WhatsApp: 24 98152-1675
Skype: justen.thiago
otavio_marco
New Contributor III

Re: Qlik que consegue importar dados com muitos registros

Eai Wellington. Tudo certo?

Cara 20M não é muito coisa pro Qlik, quando pensamos que seus dados já estão armazenados em Qvd ou já estejam na memória.

Mas quando falamos de leitura no banco, pode ser muita coisa. Dependendo das condições físicas, tanto do servidor que está hospedando esse banco, como o host que está consultando e a rede entre eles estejam, isso pode significar uma queda absurda de desempenho.

Nesse acaso aconselho fortemente a você fazer agendar consultas incrementais, ou seja, você sempre irá consultar partes da tabela origem (bd) e armazenar em qvd, visto que as demais informações não precisam ser mais processadas. Vendas por exemplo.

Agora se é sempre necessário consultar esses 20M de registros, solicite a sua equipe de TI uma alternativa para lhe auxiliar.

Abraços.

welingtonborges
New Contributor II

Re: Qlik que consegue importar dados com muitos registros

Ola Marco Otávio, td bem graças a Deus e com vc? realmente não preciso fazer a carga completa sempre que tentar buscar os dados. "Nesse acaso aconselho fortemente a você fazer agendar consultas incrementais" sabe de algum tutorial que eu possa ter como parâmetro? Desde já agradeço pela resposta. Muito obrigado.

welingtonborges
New Contributor II

Re: Qlik que consegue importar dados com muitos registros

Bom dia Thiago, estou sim, vou tentar fazer o teste, Desde já agradeço pela resposta. Valeu thiago.justen‌.

otavio_marco
New Contributor III

Re: Qlik que consegue importar dados com muitos registros

Olá Wellington.. Tudo certo.

Seguem um tópico oficial

https://help.qlik.com/pt-BR/sense/September2017/Subsystems/Hub/Content/LoadData/use-QVD-files-increm...

Porém você pode fazer de outras maneiras. Por exemplo:

* Consultar Vendas: consulte apenas as vendas realizadas desde a última atualização. Exemplo: Somente vendas do dia anterior.

* Consultar Clientes: consulte informações de clientes que foram inseridos ou foram atualizados desde a última atualização.

Existem diversas maneiras de otimização de consulta. Você só precisa analisar o seu problema e implementar a melhor opção.

Abraços.

thiago_justen
Valued Contributor III

Re: Qlik que consegue importar dados com muitos registros

Sempre às ordens meu amigo!

Thiago Justen Teixeira Gonçalves
WhatsApp: 24 98152-1675
Skype: justen.thiago