[Download] | Qlik Sense App Análises Arquivo Parquet

[mario_sergio_ti]

Sobre:

A partir da versão Qlik Sense August 2023 é possível ler e gravar dados no formato Parquet, arquivo de dados colunares, compactados e eficientes, ideal para projetos com o ecossistema Hadoop e multiplataformas.

Poderão utilizar o app em anexo para efeito de estudo, com comparativos referente ao tamanho, velocidade de leitura e gravação utilizando arquivo Parquet direto no Qlik Sense, poderão modificar a tabela base via script para novos experimentos, fiquem à vontade.
O objetivo deste trabalho é filantrópico, didático e para apoiar a comunidade Qlik.

Gostaria de deixar claro que não desejo induzir que o arquivo Parquet seja superior ou inferior ao QVD, pois ambos poderão ser aplicados em cenários específicos.

Mais informações sobre as motivações da existência do arquivo Parquet, oficial: Motivation | Apache Parquet 

Visão Geral | Animação (GIF):

Qlik Sense App Análises Arquivo Parquet:

Aplicação: 3.2.1 Análises Arquivo Parquet
Objetivo: Analisar volumetria e performance utilizando arquivo Parquet no Qlik Sense para fins de estudo
Dependência: Pasta (Conector)
Plataforma testada:  Qlik Sense August 2023 Patch 6
Dados: Baseado no script gerado automaticamente (Ctrl+0+0)

Ambiente utilizado:

CPU: Intel(R) Core(TM) i7-8750H CPU @ 2.20GHz
RAM: 32,0 GB (2667 MHz, dual channel)
Armazenamento: Samsung SSD 970 EVO Plus 500GB

Download do projeto:

GitHub - mariosergioti/QlikSense_APP_AnalisesArquivoParquet

> Confira outras publicações de MARIO SOARES:

Publicações de MARIO SOARES | Documentos, Aplicati... - Qlik Community - 1464214

[ajaykakkar93]

Hi,

This is a good explanation,

I would like to provide additional information for members who may not be familiar with Parquet.

Youtube video https://www.youtube.com/watch?v=PaDUxrI6ThA

This video explains it in a good way 

[mario_sergio_ti]

Thank you very much for your contribution, the video is very good, it details aspects of the file and codecs. In the Qlik manual, I noticed that when recording parquet files the default used is the snappy codec, it was this codec that I used in the test application, I understand that it is a good cost-benefit in general, but depending on the project requirements, we can define the codec that best meets your needs. The manual explains how we can change, I leave the link so people can check: https://help.qlik.com/pt-BR/sense/August2023/Subsystems/Hub/Content/Sense_Hub/Scripting/ScriptRegula...