-
Re: Chargement des tables en cours ...
Combien de RAM as-tu?
Coment se comporte ta RAM (gestionnaire des tâches -> Performance) lorsque tu bascules dans la section "Gestionnaire de données"?
-
Re: Chargement des tables en cours ...
La partie gestionnaire de données est pour visualiser les tables d'origines, je ne suis donc pas certain que tu en es besoin.
Que fait ton script de chargement ? Combien tu as de tables au final ? Dans l'aperçut de l'application celle ci fonctionne ?
-
Re: Chargement des tables en cours ...
bonjour christophe,
Merci pour ton assistance,
je ne pense pas que ce soit un pb de ressources système, effectivement le gestionnaire de données permet de visualiser les tables d'origines donc le schema mysql étant assez "large" avec de nombreuses tables et l'active directory aussi, il est normal que cela prenne du temps mais pour moi pas au point de ne jamais aboutir. (j'ai laissé une nuit complete, ca moulinait tjrs)
une base mysql et un active directory via connecteur ole DB.
Mon script se connecte a certaines tables via des load utilisant des sql select pour extraire et traiter les données dont j'ai besoin sur 4-5 tables dont une table centrale avec de nombreux champs dans cette table.
j'ai juste besoin une fois que le script est fini de s'executer, de consulter les données de ces tables mais pas en creant une nouvelle feuille dédiée (le modele de la table centrale pouvant changer au fil de mes developpements)
je pensais que via le gestionnaire de données on pouvait le faire .mais je viens de comprend avec ce que tu me dit que dans cette partie "gestionnaire de données" je vais voir les tables de la base mysql et active directory mais pas mes données de "chargement brutes"
du coup y a t'il un moyens de voir les données brutes que l'on a chargé ? la consultation via la partie modèle ne me montre que les premières lignes.
d'avance merci de ton retour
-
Re: Chargement des tables en cours ...
Bonjour Vincent,
Vincent : du coup y a t'il un moyens de voir les données brutes que l'on a chargé ?
Pour voir les données brutes, l'idéal c'est de générer des qvd. Le logiciel QV-eye te permettra d'ouvrir ces fichiers. Dans QV-eye, pour voir toutes les données, tu cliqueras sur le bouton "Load All" dans la barre des tâches.
Utilisation de fichiers QVD ‒ Qlik Sense
Kevin
-
Re: Chargement des tables en cours ...
Ok, je comprends mieux ton besoin.
je te conseille la lecture de ce document :
C'est une bonne pratique à adopter dans ton cas de figure. En synthèse, cela revient à séparer les différentes opérations en plusieurs applications spécifiques
L'Extraction, qui fait les requêtes à ta BDD et stocke dans des QVD
La Modélisation, qui effectue les transformation et stocke tes tables finales
La visualisation, qui charge les fichiers transformés et contient les feuilles de visualisations.
(La partie Modélisation peut être zappée si ton modèle est simple)
La meilleure manière pour toi de visualiser les données brutes, est de le faire depuis l'interface avec des objets de type Table. Des graphiques pourront aussi de montrer la distribution de tes données, des statistiques etc...
Pour ma part, je le fais dans l'extraction. Le principe est de faire des STORE après chaque SELECT puis de faire un DROP de la table car nous n'en avons plus besoin en mémoire.
A la fin, tu peux recharger les QVD que tu viens de créer et ainsi visualiser la données. Si tu ne veux pas que des champs se lient et créent des boucles ou des clés synthétiques, tu peux mettre un "QUALIFY *;" avant de commencer à charges les tables.
-
Re: Chargement des tables en cours ...
Vincent,
Pour compléter le propos de Christophe, tu gagneras parfois du temps à découper des tables très volumineuses en plusieurs tables. Ensuite tu les envoies dans un QVD. Puis tu pourras refaire un Concatenate plus tard.
Exemple :
Partie 1 :
Load Matricule, colonne 1, colonne 2, colonne 3, colonne 4 FROM....
Partie 2 :
Load Matricule, colonne 5, colonne 6, colonne 7, colonne 8 FROM ....
et ainsi de suite.
Kevin
-
Re: Chargement des tables en cours ...
Tout à fait, ou en ne faisant pas un select * mais en ne chargenat que les champs utilisés depuis SQL
-
-
-
Re: Chargement des tables en cours ...
ok, donc si je comprend bien a priori pas de moyen de consulter les données stockée dans un qvd sans faire un tableau dans une feuille ?
Je n'en suis pas a faire une architecture 3/3 pour charger des données
c'est dommage de pas avoir une consultation "de base" des données brutes du qvd pourquoi avoir limité la visu des données du modèle aux premier lignes seulement ?
quand on développe et que le modèle change souvent c'est assez lourd alors qu'une visu native m'aurait fait gagné beaucoup de temps.
merci de ces réponse