Carga incremental QVD (db muito grande)

[#1]

Olá Pessoal,

Estou com uma duvida sobre como carregar uma base de dados que tem 70 GB, alguem teria uma idéia para me ajudar? Pois estou carregando apenas 10 dias e já está dando erro de memoria, como eu vou poder carregar a base toda que tem 70GB. Após a primeira carga o restante ficaria simples pois seria incremental, mas como deixar disponivel a base toda para consulta?????

Obrigado Pessoal!

[aderlanrm]

Olá pokaoliveira,

Quanto de memória tem o computador que você está usando para carregar esses dados?

Pois dar erro quando está carregando é uma coisa, demorar muito para carregar devido a quantidade de dados é outra.

Problema 1 - Erro na carga:

Você tem que ver qual é o erro, post aqui, para que todos possam tentar lhe ajudar, mas já adianto, para essa quantidade de dados, o servidor tem que ter bastante memória, se você estiver tentando fazer essa carga no versão Personal do QlikView, não tem problemas, mas também tem que ser em uma máquina com bastante memória.

Você sabe criar arquivos QVD?

Problema 2 - Domora muito:

Realmente isso é resolvido com carga incremental, porém, não tem mágica, rsrsrsrs... Terá que fazer a primeira carga com as informações necessárias para analise depois incluir um procedimento de carga incremental.

Veja ai qual o problema real e nos avise, o pessoal aqui da comunidade é muito ativo e colaborativo, tem certeza que lhe ajudarão.

Abraço.

[#3]

Boa Tarde Aderlan,

o PC Tem 4 GB de Ram

Estou tentantando criar o QVD a partir dasta base de 70 GB e fazer a carga incremental, até ai tudo bem...

O problema acontece quando eu tendo gerar essa primeira carga, já da erro de memoria Out Of Virtual memory, e não termina a carga para o arquivo QVD ser gerado.  Tenho que acessar uma base SQL 2005 para pegar os registros e demora bastante, pode ser pela demora do carregamento? Ou pela falta de memoria da máquina?

Essa base tem 7GB completa e até agora ainda só fiz carga parcial nen tentei carregar a base toda, a partir de 13 milhoes de registros da o erro de memoria, e para carregar os 13 milhoes de registrosno QVW demora 5 horas?

[aderlanrm]

Olá, respondendo na community as 17h em um domingo! Rsrsrs... Parabéns pelo seu comprometimento.

Esta base SQL Server 2005 está na mesma máquina que você está gerando o QVD?

Se sim, isso pode não ser interessantes, poi o SQL Server reserva memória na máquina, se tem 4GB, e nas configurações do SQL estiver 3GB para ser reservado, na verdade você estará tentando gerar um QVD em menos de 1GB de RAM, considerando o que o sistema operacional precisa para continuar funcionando.

Você deve usar um PC diferente rodando o QVD para que o SQL e o QV tenham liberdade para trabalhar toda a memória disponível em cada uma de suas máquinas.

Quando você diz que tem 70GB, 7GB você se refere a várias tabelas ou isso é uma única tabela de dados em sua base de dados?

Outro item que você tem que observar é o tamanho do arquivo QVD ou QVW, nos HDs com sistema de arquivo FAT32, não pode passar de 4GB, pois é um limite do sistema de arquivos do HD.

Já o NTFS não tem esse limite, mas também não é recomendado ultrapassar esse tamanho, a não ser que seja realmente necessário.

Tente fazer carga incremental com limite de linhas, ex:

Carrega os dados onde o ano é igual 2000, grava o QVD com o nome ANO2000.qvd, depois faz o mesmo com os outros anos até o ano que você quiser, se a quantidade de registros for muito grande mesmo em ano, você pode fazer por mês, exemplo: JAN2000.qvd, FEV2000.qvd ...

Com isso, você poderá identificar melhor em que parte dos dados está dando erro ou se é um problema de tamanho de arquivo devido ao sistema de arquivos do seu HD.

Vai tentando e postando ai... Vamos ajudando na medida do possível.

Abraço.

[#5]

Olá,

Então o QVW roda em uma máquina e o SQL Server em outra.

A que esta rodando o QVW tem 4 GB de ram, e a tem o servidor com a base de dados no SqL server tem que 70 GB todas tabelas é logico que não vou precisar de tudo isso,  mas já está ocorrendo o erro de memoria com carga parcial de 10 dias, e preciso carregar 2 anos da base, pensei a mesma coisa fazer por etapas quinzenal igual sua dica, você teria algum exemplo de script com carga parcial de mês em mês como sugeriu?? Obrigado!

[aderlanrm · Accepted solution]

É realmente estranho esse erro, pelas suas descrições, não tem nada evidente que faça esse erro acontecer.

Recomendaria você fazer testes em outra máquina se possível, pode ser algum problema de instalação ou versão do QV, baixa última versão no site, atualize ou instale em outra máquina e faça testes.

Tenho um script que uso nos treinamentos, é um pouco mais do que você precisa, mas acredito que conseguirá fazer ajustes para sua necessidade, segue anexo.

Abraço.

[fernando_tonial]

Senhores, mormalmente esse erro ocorre quando o processo extrapola o limete do windows, que no caso o seu deve ser 32Bits, sendo assim o processo do QV não pode passar 2GB, mesmo a máquina tendo 4GB. Se o windows é 64 Bits o processo pode chgar a 8TB, senão me engano.

Abraços.

Tonial.

[aderlanrm]

Olá Tonial, tudo bem?

Relamente, esqueci de falar sobre isso, mas acho que esse não é o caso dele pois ele disse que a máquina tem 4GB de RAM, se o windows dele fosse 32bits, ele não conseguiria ver o total de RAM, pois o windows só mostra 3,25GB.

Mas isso eu interpretei no texto, rsrsrs... ele poderia ser que ele estivesse falando de quanto instalou e não o quanto aparece no gerenciador do windows. Rsrsrsrs...

Parece que foi resolvido, marcou como respondido...

Grande abraço a todos!

[#9]

Obrigado Pessoal, Fernando isso mesmo era o meu problema inicial realmente meu PC é de 32bits mas o servidor não é então consigo dar a carga incremental pelo servidor.

Obrigado pela ajuda.

abs ,

Marco