6 Replies Latest reply: Mar 24, 2016 4:02 PM by Yuri Nicolett RSS

    Infraestrutura Ideal

    Rodolfo Barbosa

      Bom dia Pessoal, tudo bem? Desde já agradeço pela ajuda,

      Trabalho Atualmente numa infra a qual não acho adequada para o Qllik, minha extração é feita do Oracle (Transacional), o mesmo que os usuários utilizam, direto para o Qlik.

       

      Não consegui identificar boas práticas, ou a melhor em relação a isso, gostaria de informações de cenários que já tenham utilizado, ou algum exemplo.

       

      Pensei em algo do tipo:

       

      Oracle Transacional -> ETL ( Pentaho) -> Oracle BI ( DW) -> Extração Qlikview -> QVD -> QVW

       

      Hoje é algo parecido com

       

      Oracle Transacional -> SQL -> Extração Qlikview -> QVD -> QVW

       

      Ainda não consegui montar o melhor layout nesse sentido, minha intenção é não gerar I/O no banco de produção, para que as aplicações não fiquem lentas e etc. E se possível otimizar minhas cargas no BI. Caso não tenha ilustrado bem o cenário, posteriormente estarei enviando uma ilustração do mesmo.

        • Re: Infraestrutura Ideal
          Clever Anjos

          Utilizando qualquer ETL (Pentaho ou via script Qlik) sempre irá precisar consultar seu banco.

          Refaça seus extratores utilizando técnicas como Carga Incremental, Segmentação por Datas, etc que você irá ter sucesso

            • Re: Infraestrutura Ideal
              Rodolfo Barbosa

              Entendi, porém preciso carregar informações do passado toda vez que recarrego.

               

              Exemplo ao carregar o mês de fevereiro, atualizo todos os anos e meses passados, por questões de regra de negócio, pois estes podem ter passado por modificações.

               

              E até porque alguns dados demoram até 2 meses para serem consolidados.

               

              A incremental seria a solução? Pensei em carregar talvez só essa tabela/estrutura a parte, de forma total, o que queria fugir mesmo, era dessa grande movimentação de tabelas.

               

              yuri.nicolett

               

              Foi uma estratégia que tinha pensado, fazer toda extração, sem muita condições, apenas periodo, e realizar todo tratamento no qlik, o problema que com isso teria que passar alguns funções que rodam no oracle( bem lentas inclusive) também para extração, ou realizar, na transformação (calculo de preço por exemplo) hoje busco através de funções.

            • Re: Infraestrutura Ideal
              Yuri Nicolett

              Rodolfo, não existe uma regra da melhor estrutura ou melhor forma de se fazer, mas se você não quer "dar muito trabalho" para o seu banco de dados, então te oriento a apenas fazer carga incremental, quando possível, das tabelas que serão utilizadas em seus projetos e deixar toda a etapa de transformação ser realizada no qlikview, ou seja, você não vai realizar nenhum JOIN ou transformação na extração dos dados de seu banco, apenas fazer uma leitura de Select campos where data>x.

              • Re: Infraestrutura Ideal
                Rodolfo Barbosa

                Galera, encontrei essa imagem que define um cenário Qlik quase que padrão.

                 

                Vê se entendi corretamente por gentileza, o tratamento que faço antes da camada onde o Qlik conecta é totalmente independente, então posso fazer dar forma que preferir, pentaho, power center, etcqlikviewW.jpg

                 

                No meu caso não tenho o publisher., no meu caso o agendamento é feito via QMC.

                  • Re: Infraestrutura Ideal
                    Yuri Nicolett

                    Rodolfo, você pode escolher a ferramenta que deseja para criar o seu ETL, já tive clientes que não queriam a ETL dentro do qlikview, pois se precisassem alterar o FrontEnd (camada de visualização de dados para os usuários) eles poderiam fazer, pois todo o tratamento de dados estava em SQL.

                     

                    A "maior vantagem" do publisher é poder isolar o serviço de cargas em outro ambiente, outro servidor, ou seja, suas cargas não irão competir com o acesso dos usuários.