Skip to main content
Woohoo! Qlik Community has won “Best in Class Community” in the 2024 Khoros Kudos awards!
Announcements
Nov. 20th, Qlik Insider - Lakehouses: Driving the Future of Data & AI - PICK A SESSION
cancel
Showing results for 
Search instead for 
Did you mean: 
Not applicable

Configuration Machine

Bonjour,

J'aurais besoin d'importer un fichier '.txt' de 27Go dans QlikView.

Ce fichier possède plus de 1000 champs.

Il y aurait une méthodologie particulière pour ce genre d'opération?

Le poste en question n'a pas l'air de supporter la charge.

J'ai déja essayé le process normal :

1-/ Chargement d'un fichier '.txt'

2-/ Store de la table en question

Sinon, comment peut-on déterminer la configuration en terme de machine (CPU,RAM,...) par rapport à ce type de besoins?

Merci par avance.

2 Replies
pgrenier
Partner - Creator III
Partner - Creator III

Bonjour Willy,

Peut-être pourriez-vous effectuer une analyse préalable sur le contenu de votre fichier, puis limiter le chargement des données sur les colonnes qui ont une pertinence directe sur le besoin d'analyse de vos utilisateurs-cibles?

De façon générale, ce n'est pas une bonne pratique de charger tout plein d'informations au cas où qu'elles pourraient éventuellement servir dans un document QlikView, cela ne fait qu'augmenter sa taille, et ralentir sa réactivité.

De plus, si vous le pouvez, tentez de limiter le nombre de champs clé si ces derniers ne sont pas utiles, car plus il y a de valeurs différentes dans un champ, plus l'indexage de ces informations prend un espace important en mémoire.

Les indexes évoluent effectivement au besoin, selon le scheme 2^x. Ainsi, si votre champ contient deux valeurs différentes, l'index sera de l'ordre de 2^1=2. Pour 1000 valeurs, l'index sera de l'ordre de 2^10=1024, tandis que pour 1050, il passe au prochain niveau, soit 2^11, et ainsi de suite. Ce qui veut dire que, pour de très grandes tables, la taille de l'index continue sa croissance exponentielle pour atteindre des niveaux plutôt lourds, et s'il y a plusieurs clés, c'est autant plus d'espace qui est nécessaire.

Bonne analyse, cordialement,

Philippe

Not applicable
Author

Merci à vous pour votre réponse.