topic Re: Carga de datos in Español

Carga de datos

carlosrb1978 — Wed, 24 Jan 2018 15:06:09 GMT

Buenos días con todos:

Expongo mi caso y agradecería me puedan ayudar.

Realizo una actualización de mi QVD diario de un promedio de 2 millones de registros la cual demanda 2 horas de actualizacion promedio; sin embargo en ocasiones necesito actualizar la tabla en un punto del día y pero solo para unos cuantos registros.

Quisiera saber si es posible realizar solo una actualización de tablas, es decir que si la tabla es de 2 millones de registros y cree o modifique en el transcurso de la mañana solo 100 mil registros, solo actualizar esos 100 mil para que mi actualización sea mas ligera.

Estaba aplicando Replace Load, pero esto eliminaba mi tabla y la volvía a generar, por lo que el tiempo de carga era lo mismo (2 horas promedio).

Como siempre muchas gracias de antemano y estaré atento a sus comentarios.

Atte.

Carlos R.

Re: Carga de datos

rubenmarin — Wed, 24 Jan 2018 16:22:06 GMT

Hola Carlos, puedes probar con 'Add' en vez de 'Replace':

https://help.qlik.com/en-US/qlikview/November2017/Subsystems/Client/Content/Partial%20Reload.htm

Re: Carga de datos

carlosrb1978 — Wed, 24 Jan 2018 18:47:12 GMT

mmm... la verdad demoro el mismo tiempo... no hubo diferencia... en SQL uso el Update... acá no encuentro nada similar

Re: Carga de datos

davidrobles — Thu, 25 Jan 2018 14:42:16 GMT

Hola, si puedes identificar los registros a actualizar con una clave única puede usar la función "where exists" leyendo del QVD solo los registros no actualizados y concatenandolos con los nuevos.

Re: Carga de datos

hector_munoz — Thu, 25 Jan 2018 20:17:11 GMT

Hola Carlos,

Échale un vistazo a las soluciones que te aportan tanto Rubén como David y vete familizarizando porque uno de los errores que cometemos más a menudo los desarrolladores de Qlik es que no nos fijamos en el rendimiento de las aplicaciones mientras que las construimos y sí cuando están en producción y los tiempos no son aceptables.

La incrementalidad con QVDs, buenas prácticas de desarrollo, arquitectura por capas, etc. son un pestiño pero, conforme crece tu información y tu número de aplicaciones, INEVITABLE.

Suerte!

Saludos,
H

Re: Carga de datos

carlosrb1978 — Fri, 26 Jan 2018 13:48:38 GMT

Es Correcto lo que indicas Hector!!..

aplicar una buena arquitectura para poder manejar grandes volumenes de informacion es lo ideal.

La verdad aplique tanto el where exists, el cual redujo en algo el tiempo de actualización, aplique lo q me sugirió Ruben y hasta trate de aplicar carga incremental... pero igual lee toda la tabla para realizar tal actualización... debo aplicar otra funcionalidad para este tipo de actualización inmediata, creo que dividiendo la informacion para visualización del día o algo similar...

De veraz todas sus sugerencias aportan mis conocimientos y eso se agradece mucho!!! como no están en Perú para invitarles unas cervezas bien heladas!!

Muchas gracias a todos y que tengan un excelente fin de semana!!

Atte.

CarlosR.

Re: Carga de datos

hector_munoz — Fri, 26 Jan 2018 13:51:58 GMT

Jajajaja...Pues ahora con el fresquete que hace en España dan ganas de irse al verano de Sudamérica a tomarse esas cervezas heladas... jajajaja.. Buen fin de semana!