topic Re: Carregar somente dados distintos de duas tabelas in Brasil

Carregar somente dados distintos de duas tabelas

Anonymous — Wed, 09 May 2018 17:14:00 GMT

Possuo duas tabelas muito grandes (mais de 40 milhões de linhas). Uma das colunas refere-se ao ano - uma tabela de 2015 e uma de 2016. Outra coluna refere-se a um identificador único de um registro e a outra coluna a um identificador único à unidade a que esse registro está relacionado. Preciso carregar apenas os registros que em 2015 estavam relacionados a uma unidade diferente de 2016. O que devo fazer pra trazer essas informações sem pesar o qlik? Hoje não consigo carregar as duas tabelas em sua totalidade pois trava meu pc.

Re: Carregar somente dados distintos de duas tabelas

Thiago_Justen_ — Wed, 09 May 2018 19:41:34 GMT

Rafael,

Consegue postar uma amostra de dados pra eu tentar te ajudar?

Re: Carregar somente dados distintos de duas tabelas

Anonymous — Wed, 09 May 2018 20:21:13 GMT

Tabela 1

Cod. Cliente Cod. Empresa Ano

1 a 2015

2 b 2015

3 c 2015

Tabela 2

Cod. Cliente Cod. Empresa Ano

1 c 2016

2 b 2016

3 a 2016

O que eu preciso é:

- Carregar somente as diferenças entre as tabelas (linha 1 e linha 3 da Tabela 2 pois houve alteração de empresa) contendo o histórico da Tabela 1;

- Permitir que ao filtrar o Cod. Empresa em tabela no qlik, eu visualizasse todos os Cód. Cliente que entraram e os respectivos Cod. Empresa de origem, classificando-o como "Entrada" e todos os Cód. Cliente que saíram e os respectivos Cod. Empresa de destino, classificando -o como "Saída". De modo que ficaria assim:

Lista Tabela

Cód. Empresa Cód. Cliente 2015 2016 Classificação

a* 1 a c Saída

b 3 c a Entrada

Legenda: * - Seleção do item a na lista.

Vale a pena ressaltar que quando eu selecionasse o Cód. Empresa C, a classificação do Cód. Cliente 1 passaria a ser Entrada e do Cód. Cliente 3 passaria a ser Saída

Re: Carregar somente dados distintos de duas tabelas

Thiago_Justen_ — Wed, 09 May 2018 21:07:38 GMT

Rafael,

Teste esse script e veja se a ideia lhe serve:

Tabela_1:

Load * Inline [

CodCliente,CodEmpresa,Ano

1,a,2015

2,b,2015

3,c,2015

];

Concatenate(Tabela_1)

Load * Inline [

CodCliente,CodEmpresa,Ano

1,c,2016

2,b,2016

3,a,2016

];

Left Join (Tabela_1)

Load

CodCliente,

CodEmpresa,

Ano,

If(CodCliente=Previous(CodCliente) and Ano<>Previous(Ano),If(CodEmpresa<>Previous(CodEmpresa),Previous(CodEmpresa))) as Origem,

If(CodCliente=Previous(CodCliente) and Ano<>Previous(Ano),If(CodEmpresa<>Previous(CodEmpresa),CodEmpresa)) as Destino;

Load

CodCliente,

CodEmpresa,

Ano

Resident Tabela_1 Order By CodCliente,Ano Asc;

Deixo anexo o qvf que fiz para seu exemplo.

Abs e Sucesso!!

Re: Carregar somente dados distintos de duas tabelas

Anonymous — Thu, 10 May 2018 14:55:45 GMT

Thiago, bom dia. Obrigado pelo retorno.

Não sei o que ocorreu mas os campos Origem e Destino estão vazios. Consegue verificar por favor?

MATR_2015:

LOAD

NU_ANO,

ID_MATR,

CO_PESSOA_FISICA,

CO_ENTIDADE

FROM

$(vCaminho)MATR_2015.CSV

(txt, codepage is 1252, embedded labels, delimiter is '|', msq);

Concatenate(MATR_2015)

MATR_2016:

LOAD

NU_ANO,

ID_MATR,

CO_PESSOA_FISICA,

CO_ENTIDADE

FROM

$(vCaminho)MATR_2016.CSV

(txt, codepage is 1252, embedded labels, delimiter is '|', msq);

Left Join(MATR_2015)

Load

NU_ANO,

ID_MATR,

CO_PESSOA_FISICA,

CO_ENTIDADE,

If(ID_MATR=Previous(ID_MATR) and NU_ANO<>Previous(NU_ANO),If(CO_ENTIDADE<>Previous(CO_ENTIDADE),Previous(CO_ENTIDADE))) as Origem,

If(ID_MATR=Previous(ID_MATR) and NU_ANO<>Previous(NU_ANO),If(CO_ENTIDADE<>Previous(CO_ENTIDADE),CO_ENTIDADE)) as Destino;

Load

NU_ANO,

ID_MATR,

CO_PESSOA_FISICA,

CO_ENTIDADE

Resident MATR_2015 Order By ID_MATR,NU_ANO Asc;

Re: Carregar somente dados distintos de duas tabelas

Thiago_Justen_ — Thu, 10 May 2018 15:02:02 GMT

Consegue disponibilizar os csv's pra eu avaliar?

Re: Carregar somente dados distintos de duas tabelas

Anonymous — Thu, 10 May 2018 17:05:21 GMT

Thiago, boa tarde.

Os arquivos são muito grandes. Alguma outra forma me ajudar?

Re: Carregar somente dados distintos de duas tabelas

Thiago_Justen_ — Thu, 10 May 2018 17:08:42 GMT

Tem como salvar os arquivos em qvd e mandar? Ou ainda, mandar o qvf carregado? Não preciso de todos os dados...na verdade preciso apenas de uma amostra (podem ser dados fictícios mas que representem a estrutura da base usada).

Re: Carregar somente dados distintos de duas tabelas

Anonymous — Thu, 10 May 2018 17:24:34 GMT

Thiagão. muito obrigado pelo empenho em ajudar. Mesmo em qvd fica muito grande. Segue um exemplo da base em excel, com a diferença que aqui as duas bases estão em um único arquivo.

Re: Carregar somente dados distintos de duas tabelas

Thiago_Justen_ — Thu, 10 May 2018 17:34:28 GMT

Segue qvf utilizando os dados da planilha enviada.

Re: Carregar somente dados distintos de duas tabelas

Anonymous — Thu, 10 May 2018 17:47:48 GMT

Obrigado pelo envio. Não consigo abrir essa versão do qvf: "Documento gerado por uma versão mais recente do qlikview". Acho que a minha versão do qlik é a QlikView 11.20 SR5, 12235. A única forma é eu atualizar meu qlik?

Re: Carregar somente dados distintos de duas tabelas

Thiago_Justen_ — Thu, 10 May 2018 18:01:51 GMT

Ops, você usa o QlikView...desculpa por não ter perguntado.

Segue qvw para apreciação.

Re: Carregar somente dados distintos de duas tabelas

Anonymous — Thu, 10 May 2018 19:40:39 GMT

Thiago, boa tarde.

Obrigado novamente. Percebi que o critério utilizado para classificação está incorreto (entrada e saída). Não se trata de uma ordem crescente do número Cód. Entidade. De qualquer forma mesmo que esse campo não funcione, basta que eu tenha a origem e o destino funcionando que me atenderá. Não consegui reproduzir no meu arquivo original. Encaminho ele carregado, veja se consegue me auxiliar.

Extração2.qvw - Google Drive