Division d'une table en plusieurs QVD et chargement incrémentiel

[GuillaumeB]

Bonjour,

Nous utilisons Qlik Sense à la fois comme ETL et comme outil de restitution.

Dans sa fonction ETL nous travaillons en 3 étapes et chaque étape se termine par la création d'un QVD :

1. Chargement des dernières données créées ou mises à jour
2. Transformation des données
3. Chargement incrémentiel pour mise a disposition aux applications de restitution

Malheureusement nous rencontrons 2 situations générant des tables trop volumineuses :

1. Des tables non pas de champs permettant un chargement incrémentiel. Elles sont donc collectées en FULL à chaque mise à jour. Certaines font plusieurs dizaine de millions de ligne de donnée.
2. Des tables ont nativement un nombre de données important y compris sur des périodes courtes.

Ces QVD hors norme finissent toujours pas être "corrompus" par Qlik Sense et nécessite l'intervention de notre service IT pour récupérer une version antérieure.

Tout nos applications ETL sont faites pour être des standards génériques.

Je recherche donc un solution pour qu'à chaque table chargée le code fasse un STORE sur 'n' QVD.

Est-ce que vous avez des pistes ?

Cdt,

Guillaume

[Taoufiq_Zarra]

Bonjour @GuillaumeB ,

si j'ai bien compris le problème

à mon avis il faut chercher du coté de modélisation il faut orienté ta réflexion vers un schéma en étoile tu gagnera en temps et en performance

sinon il ya aussi DirectDiscovery tu peux l'utiliser pour accéder directement à ces donnés si tu as la possibilité bien sur