topic Re: Gerar QVD com foto diária in Brasil

Gerar QVD com foto diária

mercadante — Tue, 11 Nov 2014 18:37:34 GMT

Sr.(as) Boa tarde!

Alguém pode me ajudar com a seguinte necessidade.

Tenho uma consulta que retorna faturamento e arrecadação, preciso armazenar uma foto diária desta carga em um QVD.

Porem só quero gravar as linhas que tiveram alteração, pois duplicar o arquivo não é viável

Pensei algo do tipo, diariamente faço a carga e comparo os registros da consulta com os registros já gravados no QVD. Se teve alguma alteração em algum campo eu gravo o registro com a data da alteração. Caso contrário descarto o registro e mantenho o que está no QVD. Não vou substituir o registro do qvd, se tiver alteração adiciono a linha se não mantenho.

Alguém pode me mostrar o caminho das pedras por gentileza?

Obrigado!

Re: Gerar QVD com foto diária

nicolett_yuri — Tue, 11 Nov 2014 18:39:48 GMT

Antonio, você deseja comparar quais campos para saber se houve alteração?

Re: Gerar QVD com foto diária

mercadante — Tue, 11 Nov 2014 18:43:57 GMT

Yuri, eu estou olhando todos os campos. São um total de 50.

Re: Gerar QVD com foto diária

nicolett_yuri — Tue, 11 Nov 2014 18:59:05 GMT

Antonio, verifique se não existe nenhuma coluna que mostra a data da inclusão da linha ou data de alteração da mesma, caso contrário essa checagem pode ficar muito pesada e inviável.

Re: Gerar QVD com foto diária

mercadante — Tue, 11 Nov 2014 19:04:01 GMT

Não tem estes campos.

O que acontece é que ele popula os campos. Um exemplo é quando o cliente efetua o pagamento de uma fatura, ele simplesmente popula a data de pagamento e o valor arrecadado. Mas no mesmo registro, não cria um registro novo no banco.

Por esse motivo estou olhando todos os campos, se algum alterou eu adiciono a linha, se não mantenho. e ao adicionar gostaria de gravar a data desta adição.

Re: Gerar QVD com foto diária

nicolett_yuri — Tue, 11 Nov 2014 19:19:00 GMT

Antonio, acho que até da para fazer, mas vai ficar um serviço MUITO porco (Desculpe a palavra ), não sei se vale a pena. Existe a possibilidade da sua TI realizar essa alteração no sistema da sua empresa? pois isso acaba sendo algo simples de se fazer.

Imagine que todo dia você vai ter que executar a sua query e faze-la varrer toda a sua base de dados em busca de alteração em uma ou mais de 50 colunas.

Re: Gerar QVD com foto diária

nicolett_yuri — Tue, 11 Nov 2014 19:26:16 GMT

Vou montar um exemplo de como fazer isso e te envio.

Re: Gerar QVD com foto diária

mercadante — Tue, 11 Nov 2014 19:36:33 GMT

Eu estou em contato com a TI, mas é quase impossível conseguir que alterem a view, pois é empresa terceira e envolve custos.

Re: Gerar QVD com foto diária

nicolett_yuri — Tue, 11 Nov 2014 19:42:45 GMT

Antonio, estamos falando de quantas linhas da tabela? (Qual a volumetria de registros dessa tabela?)

Re: Gerar QVD com foto diária

mercadante — Tue, 11 Nov 2014 19:52:02 GMT

Para ser exato são 194260 linhas

Re: Gerar QVD com foto diária

lucianosv — Tue, 11 Nov 2014 20:29:56 GMT

Antônio, o que pode alterar no banco? Você poderia criar um campo na tabela para gravar um autonumberrash feito com todos os campos que podem alterar?

O ideal seria você ter um identificador de linha e comparar só o autonumberrash das linhas entre o qvd e o banco.

Re: Gerar QVD com foto diária

mercadante — Thu, 13 Nov 2014 11:23:00 GMT

Luciano,

Vou criar uma chave com os 51 campos da minha tabela.

Agora minha duvida é, preciso criar utilizando o autonumber, ou posso simplesmente concatenar os campos e depois compara-los com QVD com SQL?

Re: Gerar QVD com foto diária

lucianosv — Thu, 13 Nov 2014 12:08:28 GMT

Bom dia.

É um pouco custoso para o processamento do QV, mas o autonumberhash parece uma solução melhor que comparar todos os campos.

autonumberhash128(expressão {, expressão})

Calcula um hash de 128 bits dos valores combinados de entrada de expressão e retorna um valor inteiro exclusivo para cada valor de hash distinto encontrado durante a execução do script. Esta função pode ser usada, por exemplo, para criar uma representação de memória compacta de uma chave composta.

Exemplo:

autonumberhash128 ( Região, Ano, Mês )

Apesar disso, você precisará de duas chaves:

Chave 1 - Garantir a compararação das mesmas linhas

Chave 2 - Comparar todo conteúdo da linha.

Caso não ocorram exclusões ou inclusões de linha, talvez você consiga fazer sem a Chave 1, mas o processo ficaria mais fácil de entender com as duas chaves.

Re: Gerar QVD com foto diária

nicolett_yuri — Thu, 13 Nov 2014 16:50:08 GMT

Antonio, neste caso você deve utilizar a concatenação de campos, pois o AutoNumberHash é um número gerado em tempo de execução da recarga, a cada recarga esse número pode mudar e não é confiável para a ação que esta tentando utilizar, que é justamente procurar alteração de registro.

Re: Gerar QVD com foto diária

lucianosv — Thu, 13 Nov 2014 18:22:19 GMT

Boa mestre.

Eu achava que o mesmo conjunto de dados geraria o mesmo valor.

Não deveria ser assim?

Aprendi mais uma. Vlw.

Re: Gerar QVD com foto diária

mercadante — Fri, 14 Nov 2014 11:39:10 GMT

Bom dia!

Estou fazendo desta forma.

[Carga Arrecadação QVD]:

load

CHAVE,

[Data/Hora Carga]

From

[$(vPathQvd)\BASE_DIARIA_ARRECADACAO.QVD]

(qvd);

NoConcatenate

[Carga Arrecadação SQL]:

LOAD

CHAVE,

now(0) AS [Data/Hora Carga]

;

sql

SELECT

CAMPO01||'|'|| CAMPO02 ||'|'|| CAMPO03 ||'|'|| CAMPO04 ||'|'|| CAMPO05||'|'|| CAMPO06||'|'|| CAMPO07||'|'|| CAMPO08||'|'|| CAMPO09||'|'|| CAMPO09

||'|'|| CAMPO10||'|'|| CAMPO11||'|'|| CAMPO12||'|'|| CAMPO13||'|'|| CAMPO14||'|'|| CAMPO15||'|'|| CAMPO16||'|'|| CAMPO17||'|'|| CAMPO18 ||'|'|| CAMPO19||'|'|| CAMPO20

||'|'|| CAMPO21 ||'|'|| CAMPO22||'|'|| CAMPO23||'|'|| CAMPO24||'|'|| CAMPO25||'|'|| CAMPO26||'|'|| CAMPO27||'|'|| CAMPO28||'|'|| CAMPO29||'|'|| CAMPO30||'|'|| CAMPO31

||'|'|| CAMPO32||'|'|| CAMPO33||'|'|| CAMPO34||'|'|| CAMPO35||'|'|| CAMPO36||'|'|| CAMPO37||'|'|| CAMPO38||'|'|| CAMPO39||'|'|| CAMPO40||'|'|| CAMPO41||'|'|| CAMPO42

||'|'|| CAMPO43 ||'|'|| CAMPO44||'|'|| CAMPO45||'|'|| CAMPO46||'|'|| CAMPO47||'|'|| CAMPO48||'|'|| CAMPO49||'|'|| CAMPO50 AS CHAVE

from

arrecadacao_analitico;

Concatenate ([Carga Arrecadação QVD])

load

CHAVE,

[Data/Hora Carga]

Resident

[Carga Arrecadação SQL]

where

not Exists('CHAVE',[CHAVE]);

Minha intenção é que quando tenha inclusão de informação no QVD, ele grave a data e hora que esta informação foi alterada.

Mas esta substituindo tudo

Re: Gerar QVD com foto diária

nicolett_yuri — Fri, 14 Nov 2014 14:12:45 GMT

Negativo, inclusive se você fizer uma carga incremental e gerar qvds históricos, o risco das chaves se perderem é muito alto. O mais correto é concatenação de campos ou então você deixa para gerar a chave de todos os qvds históricos no momento de leitura para a aplicação final.

Re: Gerar QVD com foto diária

lucianosv — Fri, 14 Nov 2014 14:19:46 GMT

Bom saber.

Mas honestamente considero isso um bug. O algorítimo deveria ser o mesmo e não nos obrigar a concatenar 51 campos e compará-los.

Uma pena.

Re: Gerar QVD com foto diária

mercadante — Fri, 14 Nov 2014 17:31:49 GMT

Srs. Aparentemente consegui resolver com esse código.

Muito obrigado pela ajuda de vocês, foi fundamental para o meu entendimento.

[QVD]:

load

CHAVE,

[Data/Hora Carga]

From

[$(vPathQvd)\ARRECADACAO.QVD]

(qvd);

Concatenate([QVD])

LOAD

now(0) AS [Data/Hora Carga],

where

;

sql

SELECT

campo ||'|'|| campo ||'|'|| campo ||'|'|| campo ||'|'|| campo ||'|'|| campo ||'|'|| campo ||'|'|| campo ||'|'|| campo ||'|'|| campo

||'|'|| campo ||'|'|| campo ||'|'|| campo ||'|'|| campo ||'|'|| campo ||'|'|| campo ||'|'|| campo ||'|'|| campo ||'|'|| campo

||'|'|| campo ||'|'|| campo ||'|'|| campo ||'|'|| campo ||'|'|| campo ||'|'|| campo ||'|'|| campo ||'|'|| campo

||'|'|| campo ||'|'|| campo ||'|'|| campo ||'|'|| campo ||'|'|| campo ||'|'|| campo ||'|'|| campo AS CHAVE,

campo

from

arrecadacao_analitico;