2 Replies Latest reply: Oct 11, 2013 7:35 AM by Willy LEPANTE RSS

    Configuration Machine

    Willy LEPANTE

      Bonjour,

       

      J'aurais besoin d'importer un fichier '.txt' de 27Go dans QlikView.

      Ce fichier possède plus de 1000 champs.

      Il y aurait une méthodologie particulière pour ce genre d'opération?

      Le poste en question n'a pas l'air de supporter la charge.

      J'ai déja essayé le process normal :

      1-/ Chargement d'un fichier '.txt'

      2-/ Store de la table en question

       

      Sinon, comment peut-on déterminer la configuration en terme de machine (CPU,RAM,...) par rapport à ce type de besoins?

       

      Merci par avance.

        • Re: Configuration Machine
          Philippe Grenier

          Bonjour Willy,

           

          Peut-être pourriez-vous effectuer une analyse préalable sur le contenu de votre fichier, puis limiter le chargement des données sur les colonnes qui ont une pertinence directe sur le besoin d'analyse de vos utilisateurs-cibles?

           

          De façon générale, ce n'est pas une bonne pratique de charger tout plein d'informations au cas où qu'elles pourraient éventuellement servir dans un document QlikView, cela ne fait qu'augmenter sa taille, et ralentir sa réactivité.

           

          De plus, si vous le pouvez, tentez de limiter le nombre de champs clé si ces derniers ne sont pas utiles, car plus il y a de valeurs différentes dans un champ, plus l'indexage de ces informations prend un espace important en mémoire.

           

          Les indexes évoluent effectivement au besoin, selon le scheme 2^x. Ainsi, si votre champ contient deux valeurs différentes, l'index sera de l'ordre de 2^1=2. Pour 1000 valeurs, l'index sera de l'ordre de 2^10=1024, tandis que pour 1050, il passe au prochain niveau, soit 2^11, et ainsi de suite. Ce qui veut dire que, pour de très grandes tables, la taille de l'index continue sa croissance exponentielle pour atteindre des niveaux plutôt lourds, et s'il y a plusieurs clés, c'est autant plus d'espace qui est nécessaire.

           

          Bonne analyse, cordialement,

           

          Philippe

          • Re: Configuration Machine
            Willy LEPANTE

            Merci à vous pour votre réponse.