1 Reply Latest reply: Mar 17, 2015 6:00 AM by Henric Cronström RSS

    Tabellen mit Werten vervollständigen

      Hallo Zusammen,

       

      ich muss für meine Hausarbeit versuchen sehr viel Daten zu analysieren.

      Ich bin mir relativ sicher, dass es nicht gehen wird, muss aber wenigstens an die Grenzen von QV kommen.

       

      Da es wirklich um sehr viel Daten geht, kann ich die nicht auf einmal ins QV einlesen (mein HDD reicht nicht aus, um erst qvd-Dateien zu erstellen) - so muss ich meine Daten in einige STORE-Läufe splitten.

       

      Nun die Frage: Kann ich dann die Daten aus mehreren qvd-Dateien in eine Tabelle einlesen?

      Zweite Frage: kann ich diesen Prozess automatisieren, heißt:

      - ich werde ja dann bspw. 10 Dateien haben release-1.qvd...release_10.qvd

      wo ich es testweise geladen habe und Daten noch nicht so groß waren, habe ich folgenden Skript laufen lassen:

      Release:

      LOAD ReleaseType,

           [ReleaseDetailsByTerritory/TerritoryCode],

           %Key_ResourceReference,

           R_TitleText,

           ICPN,

           %Key_ReleaseId_ProprietaryId,

           IsEan,

           %Key_ReleaseId

      FROM

      [C:\Users\fwallner\Documents\Privat_Uni\Master_Arbeit\Spotify_Data\2013\2013_11\Release.qvd]

      (qvd);

       

      Wäre mega cool, wenn mir da jemand helfen kann..

      Ach ja, ein weiteres Problem ist, dass die Daten nicht nur von release*.qvd lade, ich habe noch 4*10 weiteren qvd-Dateien (insgesamt handelt es sich um 500 Gb zip-Dateien)

      -> daraus noch eine eine Frage - kann man da irgendwas an Performance optimieren?

        • Re: Tabellen mit Werten vervollständigen
          Henric Cronström

          Mehrere Dateien zu laden ist einfach. Verwenden Sie einfach

           

          For each vFile in FileList('C:\<pfad>\*.qvd')

            Release:

            LOAD

               '$(vFile)' as File,

               ReleaseType,

                [ReleaseDetailsByTerritory/TerritoryCode],

                %Key_ResourceReference,

                R_TitleText,

               ICPN,

               %Key_ReleaseId_ProprietaryId,

               IsEan,

               %Key_ReleaseId

            FROM [$(vFile)] (qvd);

          Next vFile

           

          HIC