Carga com dados duplicados

[nildeir_sene]

Senhores, boa Tarde !!!

Estou com problema ao carregar dados de um arquivo mensal, meu 'QVD' está duplicando as informações; agora preciso tirar as informações duplicadas, estou usando a sequencia abaixo e não esta resolvendo. não posso ter duplicidade no numero da nota e item.

[nildeir_sene]

Yuri, sim é isso mesmo.

Qual a minha dificuldade; 2x por dia rodo o 'ETL' de carga e no arquivo que leio vem as mesma informações e algumas novas, o que acontece é que está duplicando a informação a cada vez que leio o arquivo de carga; mas com o 'Load Distinct' parece que resolveu.

[nicolett_yuri]

O Distinct vai eliminar a duplicidade dos registros de sua tabela, porém você pode tratar a causa do seu problema.

Coloque seu script completo, assim podemos auxilia-lo melhor

[nildeir_sene]

Incremental:

NoConcatenate

LOAD Distinct

[Local de negócios] as [TK_LocalNegocio],

     Centro as [TK_Centro],

     Cliente as [TK_CodCliente],

     Nome as [TK_NomeCliente],

     [Nº nota fiscal] as [TK_NumNotaFiscal],

     [Nº item do documento] as [TK_NumItemFiscal],

     [Data de lançamento] as [TK_DataLancNF],

     day([Data de lançamento])   as [TK_Dia],

month([Data de lançamento]) as [TK_Mês],

year([Data de lançamento])  as [TK_Ano],

     ceil(Month([Data de lançamento])/3) & 'º - Trim' as  [Trimestre],

ceil(Month([Data de lançamento])/6) & 'º - Sem ' as  [Semestre],

     Material as [TK_NomeMaterial],

     [Texto breve material]as [TK_DescMaterial] ,

     CFOP as [TK_COP],

     Quantidade as [TK_QuantNota],

     [Unidade de medida] as [TK_UMNota],

     [Moeda do documento] as [TK_MoedaDoc],

     [Preço Base (ZPSI)] as [TK_PrecoBaseZPSI],

     [Desconto Canal (ZDCN)] as [TK_DescCanal],

     [Encargo Financeiro (ZAFI)],

     [Preço com Encargo],

     [Base Inicial Impostos (ICMI)]as [TK_BaseImpICMI],

     [Desconto Total (ZDTO)],

     [Acréscimo Total (ZATO)],

     [Preço Base Frete],

     [Frete Venda (ZFTO)],

     [Preço de Venda (ZICM)],

     [Comissão (ZCOM)],

     [Vl. sem IPI],

     [Valor do IPI],

     [Valor ICMS],

     [Valor PIS],

     [Valor COFINS],

     [Val.Venda Líquida]as [TK_VendaLiquida],

     [Valor do Custo],

     [Matéria Prima],

     [Semi Acabado],

     [Produto Acabado],

     [Produto Acabado KMAT],

     Embalagem,

     [Outros Mat. Diretos],

     [Mão de Obra Direta],

     [OCD - Gás],

     [OCD - Energia Elétrica],

     [OCD - Produtos Químicos],

     [GGF - M.Obra Indir.],

     [GGF - Depreciação],

     [GGF - Manutenção],

     [GGF - Outros CIF],

     [Alocação - MDO],

     [Alocação - OCD],

     [Alocação - GGF],

     [Valor Lucro Bruto],

     [% Custo],

     [% Lucro],

     [Classe de avaliação],

     [Tipo de material],

     [Centro de lucro],

//     [Quantidade em KG],

     [Peso líquido] as [TK_QuantFatKG],

     [Peso bruto],

//     [Unidade de peso] as [TK_UniPesoKG],

     Escrit.vendas as [TK_EscVenda],

     [Equipe de vendas] as [TK_Equipevenda],

     Org.vendas as [TK_OrgVenda],

     [Canal distrib.] as [TK_CanalDistribui],

     [Setor de atividade]as [TK_SetorAtividade],

     [Unidade de medida1],

     Incoterms,

     [Incoterms parte 2],

     [Condições pgto.],

     [Explicação própria],

[Dir.movim.mercads.] as [TK_DIRECT_NF]

FROM

(biff, embedded labels, table is RawData)

Where not Exists([TK_NumNotaFiscal], [TK_NumItemFiscal])

;

Concatenate

Faturamento:

LOAD Distinct * FROM

(qvd);

STORE Incremental into (qvd);

[nicolett_yuri]

Bom, te recomendo o seguinte:

• Primeiro elimine os registros duplicados do seu qvd, fazendo um distinct e gerando o qvd novamente
• A partir de agora, seu qvd não possui mais valores duplicados, porém você precisa tratar o seu código
• Defina uma chave primária de sua tabela, ela será utilizada para não carregar os registros duplicados. Essa chave seria a concatenação de [TK_NumNotaFiscal] e [TK_NumItemFiscal]?
• Faça a leitura da planilha (sem o where exists)
• Faça a leitura do QVD com o Where exists (da sua nova chave primária)

[nildeir_sene]

Ok, Valeu !!!