14 Replies Latest reply: Oct 31, 2016 2:53 PM by Mário Rodrigo Campestrini RSS

    Estratégia de Extração

    Rodolfo Barbosa

      Bom dia pessoal tudo bem?

       

      Tenho um SQL hoje que carrega a partir de 19 tabelas uma espécie de dataware house, porém isso demora muita.

       

      Cerca de 30 horas pra carregar 3 meses, acredito que isso tem gerado um impacto negativo em meu banco de dados e no processo de BI como um todo.

       

      Pensei em mudar minha estratégia, gerando um qvd para cada tabela dessa e depois fazendo esse "data-warehouse" direto no qlikview, através dos scripts.

       

      Eu teria um ganho real de performance trabalhando assim?

        • Re: Estratégia de Extração
          Jonas Melo

          Olá, Rodolfo Barbosa.

           

          Permita-me entender.

           

          Você tem um SQL unindo 19 tabelas? Ou ele é condicionado para carregar a partir de 19 tabelas?

           

          Vale lembrar que o data warehouse (DW) é uma estrutura de armazenamento (repositório de dados para dar suporte as suas aplicações), ou seja, o conglomerado de seus Data Marts.

          • Re: Estratégia de Extração
            Rodolfo Barbosa

            Boa tarde pessoal, tem sido um sucesso a estratégia porém estou tendo alguns problemas:

            A nível de informação a carga que no oracle demorava no minimo 5 horas para cada mês hoje consigo extrair os dados de todos os perídios em menos de 30 minutos.

             

            Estou fazendo o join dos QVDs pra gerar o DW que igual usava antes, sem necessidade de mudar a estrutura do meu BI original(isto é ter os mesmos campos).

             

            Porém, acho que meus joins não estão indo dar formata correta, usei apenas JOIN, sem dizer se é inner ou left, porém a memória do servidor foi no talo 32gb. Vou tentar seguir o mesmo que o oracle, pensei em repartir em mais etapas, mas acredito que isso vá aumentar a complexidade.

            i208^cimgpsh_orig.png

            • Re: Estratégia de Extração
              Luciano Vasconcelos

              Bom dia.

              Vou dar uma opinião que talvez desagrade alguns, mas se você têm de fato um Data Warehouse o lugar dele é em um banco de dados.

              Nenhuma ferramenta de visualização de dados deveria jamais fazer esse papel pois só ela mesma vai acessar essa informação.

              Acredito que você deveria melhorar seus processos de ETL no banco.

                • Re: Estratégia de Extração
                  Rodolfo Barbosa

                  Imagina, desagradar de forma alguma... E concordo plenamente.. infelizmente hoje não temos um processo de ETL bem definido, muito menos uma infraestrutura pra isso.

                   

                  Com as dificuldades de custo estamos trabalhando com recursos limitados

                   

                  Seria um sonho de consumo um DW bem estruturado e tudo mais, fora o aprendizado, mas o que acontece, esse solução acabou sendo emergencial, pretendo em um momento com maior disponibilidade de recursos que seja melhorada.

                   

                  Hoje a situação era muito onerosa ao banco pois buscávamos direto em nosso sistema transacional com um SQL de péssima qualidade em relação a performance.

                   

                  Obrigado pelo comentário!

                • Re: Estratégia de Extração
                  Mário Rodrigo Campestrini

                  Boa tarde Rodolfo

                   

                   

                  Conseguiu resolver o seu problema? Se sim, por gentileza marque a resposta correta para nos ajudar a manter a comunidade organizada.