Modélisation de données

[assamf]

Bonjour, 

Je suis en stage, et dans celui-ci j'apprends à utiliser Qlik. Je dois faire le data model, et je voulais savoir si vous aviez des best practices. J'ai discuté avec quelqu'un qui me disait que je devrai faire 3 applications , la première pour récupérer toutes les données bruts. La deuxième, pour faire mon data model avec les transformations sur les données etc et la troisième, je pourrai utiliser mes données dans des visualisations. Il faut aussi qu'à un certain moment je génère des fichiers qvd, mais je ne sais pas si c'est avec les données bruts ou celles transformées.

C'est un peu brouillon pour moi encore, j'espère que je ne suis pas trop vague.

Merci d'avance pour vos indications 

#data model

[Dref278 · Accepted solution]

Bonjour,

Si Qliksense est le seul outil que vous utilisez pour gérer l'ensemble de votre chaîne de traitement de la donnée, il est effectivement préférable de cloisonner en plusieurs traitements.

Le découpage que vous proposez me semble cohérent.

Les premières étapes sont assimilables à  des traitements ETL, qui permettent de collecter la donnée et constituer les jeux de données résultats pour vos cas d'usages.

Un point d'attention tout de même sur la seconde étape et sur les transformations que vous voulez apporter à vos données. S'il s'agit de modifications simples (Formatage de données date par exemple ), pas de soucis. Par contre, s'il s'agit de transformation plus complexes comme des ventilations, cela peut s'avérer plus compliqué, dans la mesure ou Qliksense n'est pas un vrai ETL et qu'il peut être assez fastidieux de réaliser certaines "calcul" dans le script. 

Pour ce qui est des QVDs, afin de pouvoir réutiliser les données d'une étape à l'autre il faut effectivement passer par ces fichiers.

Etape 1 : Collecte des données et génération des QVD bruts

Etape 2 : Lecture des QVD bruts et génération des QVD préparés

Etape 3 : Lecture des QVD préparés pour l'application finale

La génération d'un QVD se fait à l'aide de la commande Store,

J'espère que cela vous aidera .

Cdlt,

Cdlt,

[assamf]

Bonjour, 

Merci de votre réponse. Concernant les transformations que je voulais appliquer à la deuxième étape, ça serait surtout des jointures, ajout/suppression de colonnes, toutes les opérations pour supprimer les clé synthétiques et référence circulaires etc. 

Pour l'instant j'ai réussi à faire mes data connections pour récupérer mes données bruts et générer les QVDs bruts. J'essaie maintenant de construire un modèle en préparant les données.

D'ailleurs lorsque je prépare mes données, faut-il que je sépare mes tables dans des sections différentes ? Si oui, comment je pourrais appeler la table 1 qui se trouve dans la section 1, dans la section 2 ? J'ai vu le terme 'Resident' mais cela ne fonctionne pas exactement de cette manière ? 

Merci encore pour votre réponse, cela va me permettre d'avancer ! 

[Dref278]

le mot clé resident est bien celui à utiliser pour ré-utiliser les données d'une table déjà chargée.

Il faut simplement faire attention au positionnement dans le script. En effet, si vous essayez de charger les données d'une table après en avoir chargé une autre dont les noms de champs sont proches, vous risquez de tout charger dans la même table. Pour éviter cela, vous pouvez utiliser la commande noconcatenate.

cdlt