Criar ETL, Sim ou Não? Porque?

[#1]

Boa tarde,

muitos da comunidade devem usar ETL para implantar BI nos seus clientes.

Porém surgiu uma dúvida. Por exemplo:

Se tenho duas bases, e gero uma única carga(QVW) de SQL dessas bases na minha extração(E), e por algum motivo uma delas ficar fora, meus dados não estarão carregados. Com isso, não conseguirei realizar minhas transformações(T), por fim, meus front-end´s não estarão atualizados(L).

Alguém já passou por isso? Pensou nisso ao implantar ETL nos seus clientes?

Se tiverem documentos sobre ETL para que possa estudar mais e entender melhor esse processo.

Grato pela atenção.

[lucianosv]

Boa tarde.

Por boas práticas é interessante ter as 3 camadas, mas normalmente depende da situação. Não tenho documento sobre o assunto, mas o google tá cheio.

Agora falando na prática, caso você carregue uma base D - 1 por contingência, também não estará correto.

Se quiser partir para essa linha, se julgar que não vale a pena criar os QVD's antes, crie na carga da aplicação.

Dessa maneira pelo menos terá uma contingência.

[nicolett_yuri]

O processo de ETL esta dentro das melhores práticas, então com certeza é necessário utiliza-la. Entendo que alguns casos não é necessário, por exemplo: Tenho um painel que ficará em um LCD e atualizará de 10 em 10 minutos, neste caso o processo de ETL atrasaria a informação que deve ser carregada de forma bastante rápida.

Paulo, complicado. Pense comigo... talvez o ideal seja separar as bases/cargas em processos de extratores diferentes, porém se esses dados são lidos pela mesma aplicação, então acredito que você possa deixar na mesma e fazer uma tratativa em seu extrator, caso a base esteja fora, a execução continua na outra. MAS tome cuidado (rsrs), talvez seja melhor não atualizar nenhuma informação do que ter dados incompletos.

Depende muito de cada cenário

[#4]

Andei lendo algo sobre ETL, e aplicando no ambiente de BI, o E seria o QVW que vai ler todas as tabelas necessárias(SQL´s puros) para o front-end gerando qvd´s. O T seria a transformação de determinados campos dos qvd´s gerados na fase E, necessários para serem lidos no front-end com suas devidas formatações. E aonde fica o L? Às vezes ele pode se confundir e estar dentro do próprio T? Ou ele é uma fase a parte, a própria carga destes qvd´s no front-end?

A minha dúvida está nessa situação, aonde o T e o L se diferenciam. Depende da situação? Posso usar o T e L como mesma fase? Ou estou enganado com relação à como o ETL é usado?

Grato pela atenção.

[aderlanrm · Accepted solution]

Olá Paulo,

ETL, Business Intelligence, Business Discovery, Data Mining, CBR, são apenas métodos, o método, assim como a tecnologia, são formas de fazer algo.

É comum, ao longo do tempo, confundir essas palavras com outras coisas, como acontece muito com a palavra tecnologia.

Com isso eu quero lhe dizer, que não existe regra, você deve estudar os métodos disponíveis e escolher o mais viável para sua realidade, como disse o Yuri Nicolett.

Talvez até você tenha que criar um método novo, por que não? Rsrsrs...

Como já foi dito, boa prática é fazer as três camadas, mas não apenas por formalidade ou deixar o código bonito, organizado, mas por desempenho.

Recentemente, fiz um curso avançado com o Fernando Tonial, ele nos relatou, baseado em longa experiência com desenvolvimento, as várias vantagens desse método, em destaque: Facilidade de manutenção do código, velocidade de carga, redução na frequência de consulta as fontes de dados, portabilidade dos QVW de aplicação entre outros benefícios.

Ou seja, são tantas as vantagens, que somente algo muito particular justificaria não seguir essas boas práticas.

Abraço.

[#6]

Boa Aderlan, muito obrigado pelas suas palavras e o compartilhamento da experiência do Fernando.

Criei essa discussão, pois analisando as diversas situações que pode ocorrer e a situação que ocorre hoje no cliente em questão, tenho que definir oque melhor possa encaixar com eles.

Entendo que as palavras do Fernando, Facilidade de manutenção do código, velocidade de carga, redução na frequência de consulta as fontes de dados, portabilidade dos QVW de aplicação entre outros benefícios, já estava de acordo.

Porém me surgiu essa dúvida, de quando dentro de um mesmo QVW na Extração, tiver as conexões com várias fontes de dados, e por algum acaso do destino umas dessas fontes ficar indisponível, iria complicar todo o restante do processo, com isso, os dados do front-end não seriam atualizados.

O meu estudo é sobre essa situação, mas, como é uma particularidade, estou expondo afim de obter mais experiências com os membros da comunidade para definir o método que melhor encaixe na situação.

Grato pela atenção.