Qlik que consegue importar dados com muitos registros

[Anonymous]

Bom dia pessoal, estou tentando fazer a importação de uma tabela do meu banco de dados, porém a quantidade de informações dessa tabela é muito alta aproximadamente 20 milhões de registros, além de demorar muito a importação em torno de uns 25 a 30 minutos a ferramenta sempre para a importação acusando que foi impossível importar os dados, alguém já passou por uma situação semelhante e que conseguiu resolver?

Att,

Welington Borges

[elvis_schwarz]

Bom dia Wellington

20 Milhões de registros não é um volume muito grande para o Qlik carregar, pode ser limitação da maquina que ele está rodando ou no modelo de dados. Para a comunidade te auxiliar na modelagem de dados solicito que anexe um print de seu modelo de dados.

Att

[Thiago_Justen_]

Wellington,

Você está utilizando a importação de tabela via Gerenciador de Dados, correto? Seria possível, você testar a criação de uma conexão na janela de edição de script (ainda que seja para conectar-se a uma pasta contendo planilhas, ou até conexão direta com o bd via ODBC por exemplo)?

Qlik Help - Criando Conexão de Dados

Abs e Sucesso!!

[marco_almeida]

Eai Wellington. Tudo certo?

Cara 20M não é muito coisa pro Qlik, quando pensamos que seus dados já estão armazenados em Qvd ou já estejam na memória.

Mas quando falamos de leitura no banco, pode ser muita coisa. Dependendo das condições físicas, tanto do servidor que está hospedando esse banco, como o host que está consultando e a rede entre eles estejam, isso pode significar uma queda absurda de desempenho.

Nesse acaso aconselho fortemente a você fazer agendar consultas incrementais, ou seja, você sempre irá consultar partes da tabela origem (bd) e armazenar em qvd, visto que as demais informações não precisam ser mais processadas. Vendas por exemplo.

Agora se é sempre necessário consultar esses 20M de registros, solicite a sua equipe de TI uma alternativa para lhe auxiliar.

Abraços.

[Anonymous]

Ola Marco Otávio, td bem graças a Deus e com vc? realmente não preciso fazer a carga completa sempre que tentar buscar os dados. "Nesse acaso aconselho fortemente a você fazer agendar consultas incrementais" sabe de algum tutorial que eu possa ter como parâmetro? Desde já agradeço pela resposta. Muito obrigado.

[Anonymous]

Bom dia Thiago, estou sim, vou tentar fazer o teste, Desde já agradeço pela resposta. Valeu thiago.justen‌.

[marco_almeida]

Olá Wellington.. Tudo certo.

Seguem um tópico oficial

https://help.qlik.com/pt-BR/sense/September2017/Subsystems/Hub/Content/LoadData/use-QVD-files-increm...

Porém você pode fazer de outras maneiras. Por exemplo:

* Consultar Vendas: consulte apenas as vendas realizadas desde a última atualização. Exemplo: Somente vendas do dia anterior.

* Consultar Clientes: consulte informações de clientes que foram inseridos ou foram atualizados desde a última atualização.

Existem diversas maneiras de otimização de consulta. Você só precisa analisar o seu problema e implementar a melhor opção.

Abraços.

[Thiago_Justen_]

Sempre às ordens meu amigo!