topic Re: Carga com dados duplicados in Brasil

Carga com dados duplicados

nildeir_sene — Wed, 13 Dec 2017 18:01:18 GMT

Senhores, boa Tarde !!!

Estou com problema ao carregar dados de um arquivo mensal, meu 'QVD' está duplicando as informações; agora preciso tirar as informações duplicadas, estou usando a sequencia abaixo e não esta resolvendo. não posso ter duplicidade no numero da nota e item.

Re: Carga com dados duplicados

Clever_Anjos — Wed, 13 Dec 2017 18:29:33 GMT

coloca o noconcatenate imediatamente antes do LOAD

Re: Carga com dados duplicados

Clever_Anjos — Wed, 13 Dec 2017 18:36:57 GMT

outra coisa seu where not exists não tem muito sentido, pois são colunas diferentes

Re: Carga com dados duplicados

Clever_Anjos — Wed, 13 Dec 2017 18:45:59 GMT

um load distinct * from qvd não resolveria?

Re: Carga com dados duplicados

nildeir_sene — Thu, 14 Dec 2017 10:24:03 GMT

Bom dia

Vou testar ..

valeu.

Re: Carga com dados duplicados

nicolett_yuri — Thu, 14 Dec 2017 10:33:44 GMT

nildeir.sene

Temos que entender o que pode estar duplicando os seus dados. Como você faz para gerar esse QVD? Provavelmente a duplicidade ocorre nesse processo (Caso não seja uma duplicidade da própria base).

Re: Carga com dados duplicados

nildeir_sene — Thu, 14 Dec 2017 11:46:07 GMT

Yuri

Bom dia, Acho que resolvi aqui ... , mas explicando sua pergunta:

1 - Carrego meu 'QDV' com opção 'noconcatenate'

2 - Classifico o meu 'QVD' em ordem de Data,NFE e Item.

3 - Carrego o meu aquivo (xls) com a opção 'Where not exists NFE e Item' em seguida mando gravar no 'QVD' definitivo.

Re: Carga com dados duplicados

nicolett_yuri — Thu, 14 Dec 2017 11:55:08 GMT

Se você carregar apenas esse QVD, em uma app a parte, sem fazer nenhuma tratativa, os dados ficam duplicados?

Re: Carga com dados duplicados

nildeir_sene — Thu, 14 Dec 2017 12:34:34 GMT

Sim !!!

Re: Carga com dados duplicados

nicolett_yuri — Thu, 14 Dec 2017 12:37:54 GMT

Então o problema esta no processo que gera esse QVD, creio que seja antes do código que postou (como você tirou o nome do qvd, não sei te falar o nome rsrs)

Re: Carga com dados duplicados

nildeir_sene — Thu, 14 Dec 2017 13:53:30 GMT

Yuri, sim é isso mesmo.

Qual a minha dificuldade; 2x por dia rodo o 'ETL' de carga e no arquivo que leio vem as mesma informações e algumas novas, o que acontece é que está duplicando a informação a cada vez que leio o arquivo de carga; mas com o 'Load Distinct' parece que resolveu.

Re: Carga com dados duplicados

nicolett_yuri — Thu, 14 Dec 2017 14:41:16 GMT

O Distinct vai eliminar a duplicidade dos registros de sua tabela, porém você pode tratar a causa do seu problema.

Coloque seu script completo, assim podemos auxilia-lo melhor

Re: Carga com dados duplicados

nildeir_sene — Thu, 14 Dec 2017 15:25:22 GMT

Incremental:

NoConcatenate

LOAD Distinct

[Local de negócios] as [TK_LocalNegocio],

Centro as [TK_Centro],

Cliente as [TK_CodCliente],

Nome as [TK_NomeCliente],

[Nº nota fiscal] as [TK_NumNotaFiscal],

[Nº item do documento] as [TK_NumItemFiscal],

[Data de lançamento] as [TK_DataLancNF],

day([Data de lançamento]) as [TK_Dia],

month([Data de lançamento]) as [TK_Mês],

year([Data de lançamento]) as [TK_Ano],

ceil(Month([Data de lançamento])/3) & 'º - Trim' as [Trimestre],

ceil(Month([Data de lançamento])/6) & 'º - Sem ' as [Semestre],

Material as [TK_NomeMaterial],

[Texto breve material]as [TK_DescMaterial] ,

CFOP as [TK_COP],

Quantidade as [TK_QuantNota],

[Unidade de medida] as [TK_UMNota],

[Moeda do documento] as [TK_MoedaDoc],

[Preço Base (ZPSI)] as [TK_PrecoBaseZPSI],

[Desconto Canal (ZDCN)] as [TK_DescCanal],

[Encargo Financeiro (ZAFI)],

[Preço com Encargo],

[Base Inicial Impostos (ICMI)]as [TK_BaseImpICMI],

[Desconto Total (ZDTO)],

[Acréscimo Total (ZATO)],

[Preço Base Frete],

[Frete Venda (ZFTO)],

[Preço de Venda (ZICM)],

[Comissão (ZCOM)],

[Vl. sem IPI],

[Valor do IPI],

[Valor ICMS],

[Valor PIS],

[Valor COFINS],

[Val.Venda Líquida]as [TK_VendaLiquida],

[Valor do Custo],

[Matéria Prima],

[Semi Acabado],

[Produto Acabado],

[Produto Acabado KMAT],

Embalagem,

[Outros Mat. Diretos],

[Mão de Obra Direta],

[OCD - Gás],

[OCD - Energia Elétrica],

[OCD - Produtos Químicos],

[GGF - M.Obra Indir.],

[GGF - Depreciação],

[GGF - Manutenção],

[GGF - Outros CIF],

[Alocação - MDO],

[Alocação - OCD],

[Alocação - GGF],

[Valor Lucro Bruto],

[% Custo],

[% Lucro],

[Classe de avaliação],

[Tipo de material],

[Centro de lucro],

// [Quantidade em KG],

[Peso líquido] as [TK_QuantFatKG],

[Peso bruto],

// [Unidade de peso] as [TK_UniPesoKG],

Escrit.vendas as [TK_EscVenda],

[Equipe de vendas] as [TK_Equipevenda],

Org.vendas as [TK_OrgVenda],

[Canal distrib.] as [TK_CanalDistribui],

[Setor de atividade]as [TK_SetorAtividade],

[Unidade de medida1],

Incoterms,

[Incoterms parte 2],

[Condições pgto.],

[Explicação própria],

[Dir.movim.mercads.] as [TK_DIRECT_NF]

FROM

(biff, embedded labels, table is RawData)

Where not Exists([TK_NumNotaFiscal], [TK_NumItemFiscal])

;

Concatenate

Faturamento:

LOAD Distinct * FROM

(qvd);

STORE Incremental into (qvd);

Re: Carga com dados duplicados

nicolett_yuri — Thu, 14 Dec 2017 15:36:45 GMT

Bom, te recomendo o seguinte:

Primeiro elimine os registros duplicados do seu qvd, fazendo um distinct e gerando o qvd novamente
A partir de agora, seu qvd não possui mais valores duplicados, porém você precisa tratar o seu código
Defina uma chave primária de sua tabela, ela será utilizada para não carregar os registros duplicados. Essa chave seria a concatenação de [TK_NumNotaFiscal] e [TK_NumItemFiscal]?
Faça a leitura da planilha (sem o where exists)
Faça a leitura do QVD com o Where exists (da sua nova chave primária)

Re: Carga com dados duplicados

nildeir_sene — Thu, 14 Dec 2017 19:02:44 GMT

Ok, Valeu !!!