topic Cargas Incrementales! in Español

Cargas Incrementales!

Anonymous — Fri, 22 Dec 2017 15:54:06 GMT

Hola

Voy iniciando en Qlik Sense y necesito entender un poco mejor las cargas incrementales...

He estado haciendo pruebas con un archivo de excel para posteriormente usarlo con mi base de datos

Adjunto el script que estoy utilizando.

Al parecer la funcion logica de

WHERE "Date" > $(vUltimaCarga);

No es ta funcionando puesto que cargo datos nuevos y se agregan por la concatenacion del id pero no es eficiente ya que vuelve a leer todo el archivo de excel y lo vuelve a cargar completamente y no por la fecha de ultima carga y futuro necesitare que sea por fecha para un mejor rendimiento.

Espero me puedan ayudar.

Gracias

Re: Cargas Incrementales!

hector_munoz — Fri, 22 Dec 2017 16:46:07 GMT

Hola,

Échale un vistacillo a este post donde hay un montón de soluciones y trucos para la carga incremental:

Incremental Load in Qlikview - Sources

Es para QlikView, pero en Qlik Sense funciona igual.

Un saludo,
Héctor

Re: Cargas Incrementales!

rubenmarin — Fri, 22 Dec 2017 18:12:42 GMT

Hola Nacianceno, en la carpeta Documents\Qlik\Sense\Log de Sense puedes ver el registro de la última carga, así podrás ver la consulta que se le está pasando realmente a la base de datos $(vUltimaCarga) se habrá sustituido por el valor calculado.

En el log puedes comprobar si realmente se está pasando el dato correcto o copiar la consulta para modificarla y ejecutarla en un documento nuevo hasta que devuelva los resultados que esperas.

También puedes ejecutar el depurador y ponerle una parada cuando asigna el valor a la variable, luego puedes ejecutar paso a paso para comprobar el valor que le asigna a la variable.

Por intentar adivinar... ¿el campo "Date" del excel es realmente un campo de fecha o un texto?

Re: Cargas Incrementales!

Anonymous — Fri, 22 Dec 2017 20:38:09 GMT

Hola Ruben, Gracias por contestar, en el excel el campo esta como fecha

Re: Cargas Incrementales!

Anonymous — Fri, 22 Dec 2017 20:45:51 GMT

Ruben revise el log y el valor si se esta asignando a la variable $(vUltimaCarga) pero cuando se hace la operacion logica no agrega ningun dato solamente lo agrega por la concatenacion pero por el id no por la fecha

Re: Cargas Incrementales!

rubenmarin — Sat, 23 Dec 2017 19:18:38 GMT

Haría falta un ejemplo del Excel para saber por qué no aplica el filtro ¿Puedes adjuntarlo?

Re: Cargas Incrementales!

Anonymous — Tue, 02 Jan 2018 14:44:00 GMT

Claro ya esta adjuntado

Re: Cargas Incrementales!

diego_a_barboza — Tue, 02 Jan 2018 15:48:27 GMT

Yo haría una serie de cambios al script:

1) Guardaría las fechas de carga que se usan como referencia para el incremental en un archivo aparte: de esta manera te evitas tener que recorrer una N cantidad de registros para saber el valor de la última carga.

2) Establecería un condicional que revise si existe el archivo de control de fechas (ver punto 1) : Si existe el archivo, se hace la carga incremental, si no existe, se hace la carga full(o inicial); esto también te daría mas control sobre como trabajar con incrementales

3) Cambia el formato del campo "date" para que sea un numero entero en lugar de una fecha... en teoria, esto no debería tener impacto, pero nunca se sabe si hay algún problema de configuración regional que hace ruido en el medio.

Re: Cargas Incrementales!

Anonymous — Tue, 02 Jan 2018 16:48:24 GMT

Gracias por tu recomendacion! tratare de aplicar el punto 1 y ver si de esta manera ya acepta el numero de carga con las fechas ya que en estos momentos no lo acepta.

Re: Cargas Incrementales!

Anonymous — Tue, 02 Jan 2018 17:10:16 GMT

Me podrias ayudar con la forma de guardar la fecha en un archivo nuevo ya que estoy usando la funcion qvd pero no me funciona de esa manera me lo marca como si fuese una tabla,

Re: Cargas Incrementales!

diego_a_barboza — Tue, 02 Jan 2018 17:38:45 GMT

Yo pensaba algo como esto, fijate si te sirve:

/******ARCHIVO DE CONTROL********/

LET vFileExists = FileSize('[lib://Datos/Fechas_cargadas]')

//Si existe el archivo de control, se hace la carga incremental

IF $(vFileExists) > 0

then

UltimaCarga:

LOAD MAX(LOAD_DATE) AS MAX_LOAD_DATE

FROM [lib://Datos/Fechas_cargadas];

LET vUltimaCarga = FieldValue('MAX_LOAD_DATE',1);

/******CARGA INCREMENTAL********/

DATOS:

LOAD

id,

first_name,

last_name,

email,

gender,

ip_address,

"Date",

NUM(DATE("Date",'YYYYMMDD') AS REFERENCIA_FECHA

FROM [lib://Datos/Datos Prueba.xlsx] (ooxml, embedded labels, table is data)

WHERE NUM(DATE("Date",'YYYYMMDD') > $(vUltimaCarga);

Concatenate(DATOS)

LOAD

id,

first_name,

last_name,

email,

gender,

ip_address,

"Date",

REFERENCIA_FECHA

FROM [lib://QVD/DATOS.qvd](qvd)

WHERE NOT EXISTS(id);

// NO ENTIENDO EL PROPÓSITO DE ESTA PARTE ¿Es para eliminar registros que no fueron cargados en la última actualización?

/* INNER JOIN

LOAD id

FROM [lib://Datos/Datos Prueba.xlsx]

(ooxml, embedded labels, table is data); */

ELSE

/********CARGA FULL********/

//Si no existe el archivo de control, se hace la carga completa

DATOS:

LOAD

id,

first_name,

last_name,

email,

gender,

ip_address,

"Date"

FROM [lib://Datos/Datos Prueba.xlsx] (ooxml, embedded labels, table is data);

ENDIF;

// SENTENCIA DE STORE

STORE DATOS INTO [lib://QVD/DATOS.qvd](qvd);

DROP TABLE DATOS;

// CONTROL DE FECHAS

Fechas_cargadas:

LOAD NUM(DATE("Date",'YYYYMMDD') AS LOAD_DATE

FROM [lib://QVD/DATOS.qvd](qvd);

// STORE DE ARCHIVO DE CONTROL

STORE Fechas_cargadas INTO [lib://Datos/Fechas_cargadas];

DROP TABLE Fechas_cargadas;

Re: Cargas Incrementales!

Anonymous — Tue, 02 Jan 2018 18:24:27 GMT

estaba probandolo y me marco el siguiente error en el operador logico

Re: Cargas Incrementales!

diego_a_barboza — Tue, 02 Jan 2018 19:15:37 GMT

Mala mia: Probá con el siguiente script:

LET vFileExists = if(isnull(FileSize('[lib://Datos/Fechas_cargadas]')),0,1);

También se pueden usar el FileTime() y el qvdloaddate() como funciones alternativas para verificar la existencia de un archivo.

Re: Cargas Incrementales!

Anonymous — Tue, 02 Jan 2018 20:30:38 GMT

Ntp ya hice los cambios y agregue los parentesis que faltaban ahora el unico problema es que me marca que la sentencia de then no la reconoce

Muchas Gracias por tu paciencia y ayuda Diego

Re: Cargas Incrementales!

diego_a_barboza — Tue, 02 Jan 2018 20:44:27 GMT

Probá poniendo el then en la misma linea que el if, o también encerrando la variable entre comillas simples

IF '$(vFileExists)' > 0 then

Disculpame los problemas, pero escribí todo en el notepad y no lo corrí en Qlik, por eso salieron tantos errores.

Suerte

Re: Cargas Incrementales!

Anonymous — Tue, 02 Jan 2018 20:58:04 GMT

Ya casi queda solamente que ahora el campo LOAD_DATE no lo reconoce en la validacion de la existencia del archivo fechas cargadas

Re: Cargas Incrementales!

Anonymous — Tue, 02 Jan 2018 22:01:42 GMT

El archivo que se creo llamado fechas cargadas lo converti en un qvd y de esa forma ya se hizo la validacion pero ahora me indica que el campo fecha referencia no existe

Re: Cargas Incrementales!

rubenmarin — Tue, 02 Jan 2018 22:52:41 GMT

Hola, ese error será porque el qvd no tiene el campo REFERENCIA_FECHA, si es un campo nuevo habría que realizar una carga inicial del qvd que genere ese campo.

O hacer un script temporal de forma que cree el campo usando el propio qvd:

// Solo ejecutar una vez para generar el campo:

Concatenate(DATOS)

LOAD

id,

first_name,

last_name,

email,

gender,

ip_address,

"Date",

//REFERENCIA_FECHA

NUM(DATE("Date",'YYYYMMDD') AS REFERENCIA_FECHA

FROM [lib://QVD/DATOS.qvd](qvd)

WHERE NOT EXISTS(id);

Re: Cargas Incrementales!

diego_a_barboza — Wed, 03 Jan 2018 13:33:33 GMT

Ahi te paso la versión actualizada, con agregando el campo faltante en la tabla de carga original (full).

La idea es que si no existe el archivo de control, se hace la carga full... y si el archivo existe, hace el incremental.

De vuelta, mis disculpas por no haber ejecutado el script para revisar errores antes de pasartelo. Espero que la lógica básica te sirva para lo que estas armando.

Re: Cargas Incrementales!

Anonymous — Wed, 03 Jan 2018 16:04:51 GMT

No hay problema Diego he avanzado contigo en 1 dia que lo que he avanzao yo solo en 2 semanas

No marca errores y las condicionales para realizar la carga incremental funcionan ahora el problema es que no realiza la carga de los nuevos registros te adjunto el log.