topic Re: Extraindo campos de tags XML in Brasil

Extraindo campos de tags XML

Thiago_Justen_ — Mon, 19 Feb 2018 14:25:41 GMT

Srs,

Estou com uma dúvida acerca de qual seria a melhor solução para a minha questão que segue:

Tenho um app que captura os xml's de notas fiscais de abastecimento e os "traduz" conforme script abaixo:

LOAD "XML",

TextBetween(XML,'KM:','.') as [NFe Abast - KM],

TextBetween(XML,'PLACA:','KM:') as [NFe Abast - Placa],

TextBetween(XML,'<chNFe>','</chNFe>') as [NFe Abast - Chave de Acesso],

TextBetween(XML,'<vUnCom>','</vUnCom>') as [NFe Abast - Valor Unitario],

len(TextBetween(XML,'<vUnCom>','</vUnCom>')) as [Nfe Abast - Un. Medida],

TextBetween(XML,'<vProd>','</vProd>') as [NFe Abast - Valor Total],

TextBetween(XML,'<uCom>','</uCom>') as [NFe Abast - Un Medida],

TextBetween(XML,'<xProd>','</xProd>') as [NFe Abast - Produto],

TextBetween(XML,'<nNF>','</nNF>') as [NFe Abast - Numero],

TextBetween(XML,'<xNome>','</xNome>') as [NFe Abast - Emitente Razao Social],

TextBetween(XML,'<xFant>','</xFant>') as [NFe Abast - Emitente Nome Fantasia],

TextBetween(XML,'<qCom>','</qCom>') as [NFe Abast - Quantidade],

date(SubField(TextBetween(XML,'<dhEmi>','</dhEmi>'),'T',1)) as [NFe Abast - Data Emissao],

Year((SubField(TextBetween(XML,'<dhEmi>','</dhEmi>'),'T',1))) as [NFe Abast - Ano Emissao],

Month((SubField(TextBetween(XML,'<dhEmi>','</dhEmi>'),'T',1))) as [NFe Abast - Mes Emissao],

Day((SubField(TextBetween(XML,'<dhEmi>','</dhEmi>'),'T',1))) as [NFe Abast - Dia Emissao],

Time(SubField(SubField(TextBetween(XML,'<dhEmi>','</dhEmi>'),'T',2),'-',1),'hh:mm') as [NFe Abast - Hora Emissao],

TextBetween(XML,'<xMotivo>','</xMotivo>') as [NFe Abast - Status]

FROM [lib://CARGA/NOTAS_ABASTECIMENTO.qvd](qvd);

Até aí tudo funciona "de boa" se, e somente se, a nota contiver apenas um item (o que ocorre em 99% dos casos que temos). Esse 1% é que me arrebenta...

Vejam como o xml da NF vem quando há mais de um item:

Eis então minha questão:

Como fazer a leitura desses dois itens, considerando que as tags que utilizo são as mesmas nos dois itens?

cleveranjos‌, afurtado‌, stalwar1‌

Abs e Sucesso!

Re: Extraindo campos de tags XML

afurtado — Tue, 20 Feb 2018 00:21:57 GMT

Thiago,

tens algum XML de exemplo?

Re: Extraindo campos de tags XML

pablolabbe — Tue, 20 Feb 2018 10:03:22 GMT

Thiago,

Se você estivesse lendo diretamente o arquivo XML, o proprio Qlik iria gerar o script necessário para extrair os itens de detalhe da nfe, mas como está lendo de um campo, ai complicou.

Talvez o uso do subfield te ajude a gerar uma linha para cada ocorrencia da string "<det nItem="

https://help.qlik.com/pt-BR/qlikview/12.1/Subsystems/Client/Content/Scripting/StringFunctions/SubField.htm

Re: Extraindo campos de tags XML

Thiago_Justen_ — Tue, 20 Feb 2018 10:32:15 GMT

Tá na mão mestre!

Re: Extraindo campos de tags XML

Thiago_Justen_ — Tue, 20 Feb 2018 10:36:15 GMT

Pois é Pablo. Nesse caso, meu ERP armazena todos os arquivos xml em uma tabela da qual eu os extraio e os salvo num qvd.

Re: Extraindo campos de tags XML

Thiago_Justen_ — Tue, 20 Feb 2018 22:21:11 GMT

Up!

Re: Extraindo campos de tags XML

Thiago_Justen_ — Thu, 22 Feb 2018 11:44:41 GMT

Alguém?!?

Re: Extraindo campos de tags XML

Ricardo_Gerhard — Thu, 22 Feb 2018 11:56:24 GMT

Terias como fazer o acesso e ler diretamente do banco ao invés do XML?

Se não, poderia fazer um load tradicional e o não tradicional quando o tamanho do arquivo xml for superior ao tradicional . Apenas uma ideia, mas: pega a lista dos xmls do diretório, separa o que é normal e carrega, as exceções lê com a estrutura diferente.

Re: Extraindo campos de tags XML

Thiago_Justen_ — Thu, 22 Feb 2018 12:04:43 GMT

Ricardo, gostei da ideia porque sim, eu posso e faço a leitura diretamente do bd. Mas seria muito abuso se eu te pedisse pra me dar um exemplo prático no que se refere ao que você chama de load tradicional e não tradicional?

Para facilitar a exemplificação, disponho dois modelos de xml que tenho: um com apenas um item (talvez esse chamaríamos de tradicional) e outro com 2 itens (não tradicional).

Abs e muito obrigado desde já pelo tempo dispendido.

Re: Extraindo campos de tags XML

Anonymous — Thu, 22 Feb 2018 12:12:33 GMT

Bom dia Thiago,

Uma vez que está fazendo a extração para qvd, por que não fazer a extração para xml mesmo e desta forma simplifica a carga dos dados? Talvez seja uma saída para o problema.

Re: Extraindo campos de tags XML

Thiago_Justen_ — Thu, 22 Feb 2018 12:19:03 GMT

Bom dia Anderson,

Obrigado pela resposta. Mas por falha minha eu não expliquei bem o meu caso:

Busco na base de dados do nosso ERP todos os xml's que ficam contidos dentro de uma única coluna...ou seja,uma string imensa num só campo. Hoje vou tentar conectar via REST direto com o WebService que fornece ao ERP os xml's, daí sim, usaria poder do Qlik no que tange a carga de xml.

Estou por ora, e contando que talvez eu não consigo conectar via REST, buscando alternativas performáticas para resolver a questão.

Vou tentar agora tratar com outras funções esse campo XML (descrito acima). Tendo novidades compartilho aqui.

Mas esteja à vontade para sugerir outra solução.

Toda ajuda é bem vinda!

Re: Extraindo campos de tags XML

Ricardo_Gerhard — Thu, 22 Feb 2018 12:28:01 GMT

Thiago, desculpe o vocabulário, vamos ao tecniquez

Criar um QVW para ler todos os xmls e seus tamanhos;

Categorize-os por normal/anormal

Cria um loop para LOAD com todos os arquivos normais;

Depois um outro loop com LOAD dos demais anormal;

Agora, meu medo é se tiveres outra variações como mais de 2 <det nitem> por arquivo.

A função subfield seria mais prático/ortodoxo.

Ao invés de vc se adpatar ao processo, talvez seja simples a alteração do processo de criação dos XML´s.

Tudo são ideias e formas de atuação, cada uma com um custo diferente.

Abraço

Re: Extraindo campos de tags XML

mario_sergio_ti — Fri, 23 Feb 2018 15:32:25 GMT

Amigo, tenho uma ideia...

Usa o Pentaho PDI Community para acessar o campo da tabela com os registros que estão no padrão XML;
Faça um processo simples para exportar cada registro em um arquivo XML;
Leia os arquivos XML no Qlik.

Espero que os parceiros da comunidade não briguem comigo por isso... Rsrs

Qualquer coisa, excluo este post...

Re: Extraindo campos de tags XML

mario_sergio_ti — Fri, 23 Feb 2018 16:17:26 GMT

Gostaria de tentar outra situação...

Consegue anexar em arquivo QVD, dados de exemplo do XML, contendo um registro com 1 item e o segundo registro com 2 itens?

Re: Extraindo campos de tags XML

Thiago_Justen_ — Fri, 23 Feb 2018 16:29:51 GMT

Claro que sim meu amigo Mario: tá na mão.

As informações contidas nos arquivos não são confidenciais por isso as anexo sem maiores problemas.

Re: Extraindo campos de tags XML

pablolabbe — Fri, 23 Feb 2018 16:57:37 GMT

Thiago,

Achei sua dúvida desafiadora e resolvi testar algo. Bom cheguei neste load que talvez resolva seu problema:

Para exemplificar gravei o conteudo dos 2 xmls enviados dentro de uma planilha excel para simular o banco de dados.

Ela tem duas linhas e dentro da celula eu colei os XML. (a planilha exemplo está anexada a resposta)

Para resolver o problema combinei a função TextBetween com a dupla (while & iterno) para criar um laço que se repete a cada linha tantas vezes for encontrada a tag </det> , isso determina o numero de itens de uma nf.

O comando while cria uma linha para cada ocorrência da tag </det> desde que seja menor que o total de ocorrências encontradas (resultado do substringcount).

Essa dica vale uns 10.000 pontos aqui na comunidade. Hahahahahaha..

Tai o script.

LOAD

Registro,

//cabeçalho NF