14 Replies Latest reply: Dec 14, 2017 2:02 PM by Nildeir Alexandro Sene RSS

    Carga com dados duplicados

    Nildeir Alexandro Sene

      Senhores, boa Tarde !!!

       

      Estou com problema ao carregar dados de um arquivo mensal, meu 'QVD' está duplicando as informações; agora preciso tirar as informações duplicadas, estou usando a sequencia abaixo e não esta resolvendo. não posso ter duplicidade no numero da nota e item.

      33.png34.png

        • Re: Carga com dados duplicados
          Clever Anjos

          coloca o noconcatenate imediatamente antes do LOAD

          • Re: Carga com dados duplicados
            Nildeir Alexandro Sene

            Bom dia

             

            Vou testar ..

             

            valeu.

            • Re: Carga com dados duplicados
              Yuri Nicolett

              nildeir.sene

              Temos que entender o que pode estar duplicando os seus dados. Como você faz para gerar esse QVD? Provavelmente a duplicidade ocorre nesse processo (Caso não seja uma duplicidade da própria base).

              • Re: Carga com dados duplicados
                Nildeir Alexandro Sene

                Yuri

                Bom dia, Acho que resolvi aqui ... , mas explicando sua pergunta:

                 

                1 - Carrego meu 'QDV' com opção 'noconcatenate'

                2 - Classifico o meu  'QVD' em ordem de Data,NFE e Item.

                3 -  Carrego o meu aquivo (xls) com a opção 'Where not exists NFE e Item' em seguida mando gravar no 'QVD' definitivo.

                  • Re: Carga com dados duplicados
                    Yuri Nicolett

                    Se você carregar apenas esse QVD, em uma app a parte, sem fazer nenhuma tratativa, os dados ficam duplicados?

                        • Re: Carga com dados duplicados
                          Yuri Nicolett

                          Então o problema esta no processo que gera esse QVD, creio que seja antes do código que postou (como você tirou o nome do qvd, não sei te falar o nome rsrs)

                            • Re: Carga com dados duplicados
                              Nildeir Alexandro Sene

                              Yuri, sim é isso mesmo.

                               

                              Qual a minha dificuldade; 2x por dia rodo o 'ETL' de carga e no arquivo que leio vem as mesma informações e algumas novas, o que acontece é que está duplicando a informação a cada vez que leio o arquivo de carga; mas com o 'Load Distinct' parece que resolveu.

                                • Re: Carga com dados duplicados
                                  Yuri Nicolett

                                  O Distinct vai eliminar a duplicidade dos registros de sua tabela, porém você pode tratar a causa do seu problema.

                                   

                                  Coloque seu script completo, assim podemos auxilia-lo melhor

                                    • Re: Carga com dados duplicados
                                      Nildeir Alexandro Sene

                                      Incremental:

                                      NoConcatenate

                                      LOAD Distinct

                                      [Local de negócios] as [TK_LocalNegocio],

                                           Centro as [TK_Centro],

                                           Cliente as [TK_CodCliente],

                                           Nome as [TK_NomeCliente],

                                           [Nº nota fiscal] as [TK_NumNotaFiscal],

                                           [Nº item do documento] as [TK_NumItemFiscal],

                                           [Data de lançamento] as [TK_DataLancNF],

                                           day([Data de lançamento])   as [TK_Dia],

                                      month([Data de lançamento]) as [TK_Mês],

                                      year([Data de lançamento])  as [TK_Ano],

                                           ceil(Month([Data de lançamento])/3) & 'º - Trim' as  [Trimestre],

                                      ceil(Month([Data de lançamento])/6) & 'º - Sem ' as  [Semestre],

                                           Material as [TK_NomeMaterial],

                                           [Texto breve material]as [TK_DescMaterial] ,

                                           CFOP as [TK_COP],

                                           Quantidade as [TK_QuantNota],

                                           [Unidade de medida] as [TK_UMNota],

                                           [Moeda do documento] as [TK_MoedaDoc],

                                           [Preço Base (ZPSI)] as [TK_PrecoBaseZPSI],

                                           [Desconto Canal (ZDCN)] as [TK_DescCanal],

                                           [Encargo Financeiro (ZAFI)],

                                           [Preço com Encargo],

                                           [Base Inicial Impostos (ICMI)]as [TK_BaseImpICMI],

                                           [Desconto Total (ZDTO)],

                                           [Acréscimo Total (ZATO)],

                                           [Preço Base Frete],

                                           [Frete Venda (ZFTO)],

                                           [Preço de Venda (ZICM)],

                                           [Comissão (ZCOM)],

                                           [Vl. sem IPI],

                                           [Valor do IPI],

                                           [Valor ICMS],

                                           [Valor PIS],

                                           [Valor COFINS],

                                           [Val.Venda Líquida]as [TK_VendaLiquida],

                                           [Valor do Custo],

                                           [Matéria Prima],

                                           [Semi Acabado],

                                           [Produto Acabado],

                                           [Produto Acabado KMAT],

                                           Embalagem,

                                           [Outros Mat. Diretos],

                                           [Mão de Obra Direta],

                                           [OCD - Gás],

                                           [OCD - Energia Elétrica],

                                           [OCD - Produtos Químicos],

                                           [GGF - M.Obra Indir.],

                                           [GGF - Depreciação],

                                           [GGF - Manutenção],

                                           [GGF - Outros CIF],

                                           [Alocação - MDO],

                                           [Alocação - OCD],

                                           [Alocação - GGF],

                                           [Valor Lucro Bruto],

                                           [% Custo],

                                           [% Lucro],

                                           [Classe de avaliação],

                                           [Tipo de material],

                                           [Centro de lucro],

                                      //     [Quantidade em KG],

                                           [Peso líquido] as [TK_QuantFatKG],

                                           [Peso bruto],

                                      //     [Unidade de peso] as [TK_UniPesoKG],

                                           Escrit.vendas as [TK_EscVenda],

                                           [Equipe de vendas] as [TK_Equipevenda],

                                           Org.vendas as [TK_OrgVenda],

                                           [Canal distrib.] as [TK_CanalDistribui],

                                           [Setor de atividade]as [TK_SetorAtividade],

                                           [Unidade de medida1],

                                           Incoterms,

                                           [Incoterms parte 2],

                                           [Condições pgto.],

                                           [Explicação própria],

                                      [Dir.movim.mercads.] as [TK_DIRECT_NF]

                                      FROM

                                      [C:\QlikTest\ZCO005Incremental.xls]

                                      (biff, embedded labels, table is RawData)

                                      Where not Exists([TK_NumNotaFiscal], [TK_NumItemFiscal])

                                      ;

                                       

                                       

                                      Concatenate

                                       

                                       

                                      Faturamento:

                                      LOAD Distinct * FROM

                                      [C:\QlikTest\Fatur.qvd](qvd);

                                      STORE Incremental into [C:\QlikTest\Fatur.qvd](qvd);

                                        • Re: Carga com dados duplicados
                                          Yuri Nicolett

                                          Bom, te recomendo o seguinte:

                                          • Primeiro elimine os registros duplicados do seu qvd, fazendo um distinct e gerando o qvd novamente
                                          • A partir de agora, seu qvd não possui mais valores duplicados, porém você precisa tratar o seu código
                                          • Defina uma chave primária de sua tabela, ela será utilizada para não carregar os registros duplicados. Essa chave seria a concatenação de [TK_NumNotaFiscal] e [TK_NumItemFiscal]?
                                          • Faça a leitura da planilha (sem o where exists)
                                          • Faça a leitura do QVD com o Where exists (da sua nova chave primária)