Otimizar Carregamento de QVW

[LucasIsidoro]

Pessoal, primeiramente bom dia! 

Hoje tenho um projeto que demora cerca de 5 horas para Recarregar. Um dos grandes motivos dessa demora é os dados passados. Nós carregamos dados desde 2014.

Eu não sou avançado, más penso que deveria existir alguma maneira para esses dados como são passados, simplesmente ficarem congelados, ao invés de toda execução carregar novamente tudo.

Alguém com experiência poderia me informar se existe essa possibilidade, ou a ferramenta sempre irá recarregar todos dados e tratar?

Obrigado desde já, fiquem com Deus.

[LucasIsidoro]

Extremamente detalhado e atencioso.

Só posso agradecer a dedicação meu amigo. Vou começar a aplicação dessas regras no projeto.

Possuo cerca de umas 20 chamadas de qvds, devo fazer esse procedimento para cada uma delas né. Claro me atentando ao uso de cada uma delas.

Obrigado, assim que breve retornarei com mais informações sobre os resultados das alterações. =D

[ruzivao1980]

Reduz que eu faço a carda dos anos passado só 1 vez... e comento.... o sql... ai ele faz apenas a carga do atual... assim diminui o tempo..... 

[LucasIsidoro]

Ruzi, bom dia! Primeiramente obrigado amigo.

Você faz isso no Script?

[ruzivao1980]

Sim. Eu faço manual mesmo. Faço uma carga total de todos sqls. Um de cada ano. Aí cimento os de 2017. 2018. Deixando apenas o sql atual. Aí quando for executar para atualizar ele só vai fazer o sql atual. Ficando rápido.

[LucasIsidoro]

Entendi Ruzi, más em todo caso, as informações que ficará disponível no projeto vão ser só as de 2018 né?

Caso queira de 2017 vai ter que descomentar e carregar o projeto novamente?

[ruzivao1980]

nao... vc ja fez o select de 2017, guardo no qvd e fez o load, então vc vai conseguir ver..... tudo... porque vc vai comentar o SQL e nao o load do qvd entendeu...

Outra coisa legal é vc criar uma view no banco com seus dados, assim melhora o desempenho de obtenção dos seus dados pois vc nao vai fazer nada em tempo de execusão , vou te passar um exemplo do que eu faco aqui:

Select ano 2017, 2018 e atual, carga em 1:36 minutos.

select apenas ATUAL, com o ano de 2017 e 2018 comentando, mas fazendo o load do arquivo QVD, carga feita em 27 segundos:

Mais de 70% de economia no tempo de carga. acho que isso vai te ajudar e muito... se hj vc carrega em 5 hora se vc carregar em 1 hora fica bom, mas creio que vai ser mais rapido, pois o ATUAL sempre vai ser o ultimo ano...

[LucasIsidoro]

Caramba, 70% é muita coisa. Obrigado Ruzi, vou tentar aplicar isso aqui na minha base. Valeu. *--*

[julianacampag]

Pesquise sobre carga binária e carga otimizada de QVDs. Creio que resolverá o seu problema.

[LucasIsidoro]

Oi, Juliana.

Obrigado pela indicação, farei isso. \o/

[julianacampag]

Só para te ajudar... Tenho aplicações enormes aqui na empresa (com quase 50 milhões de registros e com o qvw com mais de 1G).

Organizei meus dados históricos em qvds semestrais, e os carrego em um qvw que fica ali só 'armazenando', então faço isso uma vez só por dia (na madrugada). Na minha aplicação final, carrego esse qvw como binário (que é muito mais rápido que carregar os qvds separadamente) e depois concateno os dados dos últimos dias, que estão em um qvd separado.

Fora isso, vale muito muito a pena ler sobre carga otimizada de qvds. Quando você trata grandes volumes de dados, isso faz muita diferença. Dê uma procurada em https://blogdonicolett.com.br, tem muita coisa bacana ali!