Chargement des tables en cours ...

[#1]

Bonjour atous,

qlik sense desktop 3.2 sr2 (10.18.3) windows 7 64 bits (patch a jours)

Je souhaiterais savoir si il est normal de ne pouvoir consulter ses données alors que celle ci se sont correctement chargées par mon script de chargement (load a partir d'une base mysql et d'un active directory).

Je bascule dans la section "gestionnaire de données" .. ca mouline mouline ... et même en laissant des heures je n'accède jamais a la consultation des données ? je reste sur "Chargement des tables en cours".

est ce normal ( 521774 lignes) que puis je faire pour corriger ce problème ?

par contre je peux consulter les premières lignes de données via la consultation du modèle.

si qqun peut m'aider sur le sujet ce serait le bienvenu.

vincent

[sfatoux72]

Combien de RAM as-tu?

Coment se comporte ta RAM (gestionnaire des tâches -> Performance) lorsque tu bascules dans la section "Gestionnaire de données"?

[christophebrault]

La partie gestionnaire de données est pour visualiser les tables d'origines, je ne suis donc pas certain que tu en es besoin.

Que fait ton script de chargement ? Combien tu as de tables au final ? Dans l'aperçut de l'application celle ci fonctionne ?

[#4]

bonjour christophe,

Merci pour ton assistance,

je ne pense pas que ce soit un pb de ressources système, effectivement le gestionnaire de données permet de visualiser les tables d'origines donc le schema mysql étant assez "large" avec de nombreuses tables et l'active directory aussi, il est normal que cela prenne du temps mais pour moi pas au point de ne jamais aboutir. (j'ai laissé une nuit complete, ca moulinait tjrs)

une base mysql et un active directory via connecteur ole DB.

Mon script se connecte a certaines tables via des load utilisant des sql select pour extraire et traiter les données dont j'ai besoin sur 4-5 tables dont une table centrale avec de nombreux champs dans cette table.

j'ai juste besoin une fois que le script est fini de s'executer, de consulter les données de ces tables mais pas en creant une nouvelle feuille dédiée (le modele de la table centrale pouvant changer au fil de mes developpements)

je pensais que via le gestionnaire de données on pouvait le faire .mais je viens de comprend avec ce que tu me dit que dans cette partie "gestionnaire de données" je vais voir les tables de la base mysql et active directory mais pas mes données de "chargement brutes"

du coup y a t'il un moyens de voir les données brutes que l'on a chargé ? la consultation via la partie modèle ne me montre que les premières lignes.

d'avance merci de ton retour

[kevinchevrier]

Bonjour Vincent,

Vincent : du coup y a t'il un moyens de voir les données brutes que l'on a chargé ?

Pour voir les données brutes, l'idéal c'est de générer des qvd. Le logiciel QV-eye te permettra d'ouvrir ces fichiers. Dans QV-eye, pour voir toutes les données, tu cliqueras sur le bouton "Load All" dans la barre des tâches.

Utilisation de fichiers QVD ‒ Qlik Sense

Kevin

[christophebrault]

Ok, je comprends mieux ton besoin.

je te conseille la lecture de ce document :

Three Tier Architecture

C'est une bonne pratique à adopter dans ton cas de figure. En synthèse, cela revient à séparer les différentes opérations en plusieurs applications spécifiques

L'Extraction, qui fait les requêtes à ta BDD et stocke dans des QVD

La Modélisation, qui effectue les transformation et stocke tes tables finales

La visualisation, qui charge les fichiers transformés et contient les feuilles de visualisations.

(La partie Modélisation peut être zappée si ton modèle est simple)

La meilleure manière pour toi de visualiser les données brutes, est de le faire depuis l'interface avec des objets de type Table. Des graphiques pourront aussi de montrer la distribution de tes données, des statistiques etc...

Pour ma part, je le fais dans l'extraction. Le principe est de faire des STORE après chaque SELECT puis de faire un DROP de la table car nous n'en avons plus besoin en mémoire.

A la fin, tu peux recharger les QVD que tu viens de créer et ainsi visualiser la données. Si tu ne veux pas que des champs se lient et créent des boucles ou des clés synthétiques, tu peux mettre un "QUALIFY *;" avant de commencer à charges les tables.

[kevinchevrier]

Vincent,

Pour compléter le propos de Christophe, tu gagneras parfois du temps à découper des tables très volumineuses en plusieurs tables. Ensuite tu les envoies dans un QVD. Puis tu pourras refaire un Concatenate plus tard.

Exemple :

Partie 1 :

Load Matricule, colonne 1, colonne 2, colonne 3, colonne 4 FROM....

Partie 2 :

Load Matricule, colonne 5, colonne 6, colonne 7, colonne 8 FROM ....

et ainsi de suite.

Kevin

[christophebrault]

Tout à fait, ou en ne faisant pas un select * mais en ne chargenat que les champs utilisés depuis SQL

[#9]

ok, donc si je comprend bien a priori pas de moyen de consulter les données stockée dans un qvd sans faire un tableau dans une feuille ?

Je n'en suis pas a faire une architecture 3/3 pour charger des données

c'est dommage de pas avoir une consultation "de base" des données brutes du qvd pourquoi avoir limité la visu des données du modèle aux premier lignes seulement ?

quand on développe et que le modèle change souvent c'est assez lourd alors qu'une visu native m'aurait fait gagné beaucoup de temps.

merci de ces réponse