topic Re: Carga incremental a Sense Desktop in Mexico

Carga incremental a Sense Desktop

edgarestrada — Tue, 08 Sep 2015 00:52:02 GMT

Hola!

Gracias por aceptarme en el grupo.

Quisiera saber si alguien tiene experiencia en cargas incrementales para Sense Desktop.

Mi BD remota tiene muchos registros, y cada que le doy "load data" vuelve a bajar todo.

Hay forma de que solo baje los ultimos registros?

Tengo campos de identificcion unicos por registro, y tambien campos de fecha y hora.

Alguna sugerencia?

Gracias!

Re: Carga incremental a Sense Desktop

alexdataiq — Tue, 19 Jan 2016 18:22:43 GMT

Este es un post algo viejo, pero por si le sirve a alguien, así es como yo lo haría:

Las cargas incrementales a nivel script se comportan igual tanto para QlikView como para QlikSense.

Si estás haciendo la extracción directamente de la B.D. se me ocurren ciertas cosas:

Primero necesitas realizar un extracción inicial de todos los datos (en teoría una sola vez, al principio).
Almacenar dicha información en un QVD.
Para las siguientes extracciones incrementales, necesitas obtener la fecha máxima de tu información previamente almacenada.

Por ejemplo:

MaxFecha:

LOAD max(CampoFecha) as maxFecha FROM MiQVD.qvd (qvd);

Una vez obtenido esa fecha (maxFecha), lo que necesitas es agregar una condición WHERE a tú query, dónde utilices algún campo fecha para que sólo te extraiga los datos más recientes Por ejemplo:

vFecha = peek('maxFecha', MaxFecha);

SELECT *

FROM miBD

WHERE Fecha >= $(vFecha);

Espero sea de utilidad.

¡Saludos!

Re: Carga incremental a Sense Desktop

edgarestrada — Mon, 25 Jan 2016 17:28:27 GMT

Hola Eduardo, muchas gracias por responderme!

Mi escenario es el siguiente:

En el Sense Desktop -> Data Load Editor, hay dos secciones: Main y Auto-generated

En teoria lo que entiendo es que en la seccion auto-generated es donde se bajan los datos (ahi hay sentencias LOAD y sentencias SQL)

En el sistema de archivos no veo ningun QVD, solo un QVF con el nombre de mi BD -- qiuere decir que tendria que bajar todo a un nuevo QVD, y luego filtrarlo con la funcionalidad de MaxFecha que me mencionas?

En que seccion tengo que hacer todo, esto, en la Main? ahi tiene 17 sentencias SET...

Gracias!

Re: Carga incremental a Sense Desktop

alexdataiq — Mon, 25 Jan 2016 20:59:53 GMT

Hola Edgar, el archivo QVF que se crea es el que crea Qlik Sense Desktop para tu aplicación. En este caso y como tu mencionas si necesitarías guardar la información extraída en un archivo QVD. Utilizando un

STORE MiTable INTO MiQVD.qvd (qvd);

Posteriormente sólo harías la consulta a la B.D. para extraer los nuevos registros, cargarías tu QVD ya creado y le pegarías los nuevos registros. Por ejemplo:

Tabla:

SQL SELECT * FROM Tabla_BD

WHERE FechaModificacion >= CampoFecha;

Concatenate

LOAD *

FROM MiQVD.qvd (qvd);

Estás en lo correcto en que la sección de Auto-Generate es la que realiza la extracción de la B.D:, esta es generada automáticamente por la funcionalidad del Qlik Sense 2.0.1 al utilizar el Data Manager. Si necesitas editar dicho código, le puedes dar clic en el icono del candado. Ten en cuenta que si editas directamente el código ya no podrás utilizar el Data Manager para editar tu código de carga y tendrás que hacerlo manualmente. A final de cuentas si quieres implementarle cambios para hacerlo incremental se tiene que hacer manualmente, así que no tengas miedo.

Las sentencias SET que mencionas en Main son variables de sistema que genera (y utiliza) Qlik Sense; éstas te recomiendo dejarlas así para su correcto funcionamiento. Tu puedes escribir código en Main debajo de las variables o crear más secciones (pestañas) en el editor de código sí así lo deseas y no debe de haber ningún problema.

¡Saludos!

Re: Carga incremental a Sense Desktop

edgarestrada — Wed, 04 May 2016 00:59:58 GMT

Hola Alejandro, Gracias por el apoyo, mira te muestro mi codigo de carga inicial, me manda error... dice "Failed to open file in write mode for file C:\Users\krantz\Documents\QVDs\Fechas.qvd "

Hice mi conexion al folder (QVDMasOrganica) como indica la ayuda, pero no puedo cargar mis datos inicialmente. Aqui el codigo:

LIB CONNECT TO 'masorganica';

Fechas:

LOAD Fecha;

SQL SELECT Fecha

FROM central.dbo.Fechas;

store * from Fechas into 'lib://QVDMasOrganica/Fechas.qvd'

SumpTank2SinAgua:

LOAD Dia,

    Hora,

    Minuto,

    sumpTank2;

SQL SELECT Dia,

    Hora,

    Minuto,

    sumpTank2

FROM central.dbo.sumpTank2SinAgua;

store * from SumpTank2SinAgua into 'lib://QVDMasOrganica/SumpTank2SinAgua.qvd'

SumpTank1SinAgua:

LOAD Dia,

    Hora,

    Minuto,

    sumpTank1;

SQL SELECT Dia,

    Hora,

    Minuto,

    sumpTank1

FROM central.dbo.sumpTank1SinAgua;

store * from SumpTank1SinAgua into 'lib://QVDMasOrganica/SumpTank1SinAgua.qvd'

VistaLecturas:

LOAD Momento,

    Dia,

    Hora,

    Minuto,

    T1,

    CalentadorT1,

    T2,

    CalentadorT2,

    T3,

    CalentadorT3,

    T4,

    CalentadorT4,

    Ambiente,

    Luz,

    statusLuzCrecimiento,

    Ph1,

    Ph2,

    ID,

    sumpTank1,

    sumpTank2,

    statusBombaAuxiliar1,

    statusBombaAuxiliar2,

    HumedadExterior,

    TemperaturaExterior,

    TemperaturaAparenteExterior,

    Lluvia,

    CortinasAbiertas,

    LuzExterior,

    temperaturaInterCooler,

    statusBombaIntercooler;

SQL SELECT Momento,

    Dia,

    Hora,

    Minuto,

    T1,

    CalentadorT1,

    T2,

    CalentadorT2,

    T3,

    CalentadorT3,

    T4,

    CalentadorT4,

    Ambiente,

    Luz,

    statusLuzCrecimiento,

    Ph1,

    Ph2,

    ID,

    sumpTank1,

    sumpTank2,

    statusBombaAuxiliar1,

    statusBombaAuxiliar2,

    HumedadExterior,

    TemperaturaExterior,

    TemperaturaAparenteExterior,

    Lluvia,

    CortinasAbiertas,

    LuzExterior,

    temperaturaInterCooler,

    statusBombaIntercooler

FROM central.dbo.vistaLecturas;

store * from VistaLecturas into 'lib://QVDMasOrganica/VistaLecturas.qvd'

BombasAuxiliaresActivadas:

LOAD Dia,

    Hora,

    Minuto,

    statusBombaAuxiliar1,

    statusBombaAuxiliar2;

SQL SELECT Dia,

    Hora,

    Minuto,

    statusBombaAuxiliar1,

    statusBombaAuxiliar2

FROM central.dbo.bombasAuxiliaresActivadas;

Store * from BombasAuxiliaresActivadas into 'lib://QVDMasOrganica/BombasAuxiliaresActivadas.qvd'

Podrias por favor indicarme que estoy haciendo mal? gracias!

Re: Carga incremental a Sense Desktop

alexdataiq — Wed, 04 May 2016 02:32:33 GMT

Que tal Edgar, así de primera impresión veo que te falta poner los punto y coma después de tus sentencias STORE. Como no lo tienes Qlik Sense no debe saber dónde termina el nombre del archivo e intenta hacer un nombre inválido con todo el resto de las palabras en el script.

También es recomendable indicar el tipo de datos (qvd), que aunque por defecto Qlik Sense asume es en formato QVD, no está de más hacerlo explícito como buena práctica:

store * from Fechas into 'lib://QVDMasOrganica/Fechas.qvd' (qvd);

Saludos.

Re: Carga incremental a Sense Desktop

edgarestrada — Wed, 04 May 2016 03:42:46 GMT

Ahora si me sentí como noob.

Gracias

Ahora voy con el script de carga incremental per-se.

Saludos, te agradezco tu invaluable apoyo.

Re: Carga incremental a Sense Desktop

edgarestrada — Wed, 04 May 2016 05:15:41 GMT

Hola Alejandro:

Mira, hice esto:

MaxFecha:

LOAD max(Momento) FROM "lib://QVDMasOrganica/VistaLecturas.qvd" (qvd);

LET vFecha = peek('Momento', MaxFecha);

Pero a la hora de correrlo, tanto vFecha como MaxFecha son nulos -- entonces a la hora de hacerle el load a la base de datos central, me manda error porque la condicion WHERE no trae valor despues del >

Alguna idea acerca de lo que posiblemente haya hecho mal?

Gracias!

Re: Carga incremental a Sense Desktop

alexdataiq — Wed, 04 May 2016 14:29:13 GMT

Prueba poniendo

MaxFecha:
LOAD max(Momento) as Momento
FROM "lib://QVDMasOrganica/VistaLecturas.qvd" (qvd);


LET vFecha = Peek('Momento', 0, 'MaxFecha');

Como no le estás poniendo nombre a tu campo con AS, el campo de tu tabla se llama 'max(Momento)' por eso no lo encuentra el Peek.

Saludos

Re: Carga incremental a Sense Desktop

alexdataiq — Wed, 04 May 2016 14:29:49 GMT

Ha ha, ¡a todos nos pasa!

Re: Carga incremental a Sense Desktop

edgarestrada — Wed, 04 May 2016 14:41:35 GMT

Alejandro,

Gracias por tu paciencia, de verdad lo agradezco mucho.

Hice lo que me dijiste:

MaxFecha:

LOAD MAX(Momento) AS Momento

FROM "lib://QVDMasOrganica/VistaLecturas.qvd" (qvd);

LET vFecha = peek('Momento', 'MaxFecha');

A la hora de correr el debugger, me indica que la variable vFecha es NULL -- la ventana de output dice que no extrajo registros -- pero la tabla si tiene registros, incluso cree una nueva hoja con un componente TABLE desplegando la dimension "Momento".. y tiene todos los registros....

Será el tipo de dato? mis registros en ese campo son asi:

MM/DD/AAAA HH:MM:SS A/P

Gracias

Re: Carga incremental a Sense Desktop

alexdataiq — Wed, 04 May 2016 14:56:26 GMT

Te falta el segundo parámetro, un 0 en el Peek:

LET vFecha = Peek('Momento', 0, 'MaxFecha');

Saludos

Re: Carga incremental a Sense Desktop

edgarestrada — Wed, 04 May 2016 14:59:50 GMT

Mismo resultado.

Como te comentaba, observo en el apartado de OUTPUT que dice:

MaxFecha << VistaLecturas

Lines fetched: 0

Esto lo arroja despues del LOAD MAX....

Re: Carga incremental a Sense Desktop

alexdataiq — Wed, 04 May 2016 15:32:05 GMT

Tienes razón, puede ser el formato de la fecha y por eso Max no sabe interpretarlo.

Prueba convirtiendo tu fecha así:

MaxFecha:  
LOAD 
     Max(Num(Date(Momento))) as Momento
FROM "lib://QVDMasOrganica/VistaLecturas.qvd" (qvd);

Saludos

Re: Carga incremental a Sense Desktop

edgarestrada — Wed, 04 May 2016 15:36:40 GMT

No funcionó.

Fijate que hice un "LOAD * FROM "lib://QVDMasOrganica/VistaLecturas.qvd" (qvd);

Y no cargo ni un solo registro a MaxFecha.

Pregunta: Acaso hay que abrir / cerrar archivos primero? No me manda error acerca de la existencia del QVD, pero el output dice:

10:34:04 TT

MaxFecha << VistaLecturas

Lines fetched: 0

Re: Carga incremental a Sense Desktop

alexdataiq — Wed, 04 May 2016 15:47:16 GMT

Eso no me parece normal, sí estás haciendo un LOAD * a un QVD y no carga ningún registro es porqué está vacío.

¿Estás seguro que el STORE con el que generaste VistaLecturas.qvd se ejecutó correctamente? ¿Cuántos registros aproximadamente trae tu tabla central.dbo.vistaLecturas y qué tamaño tiene tú archivo QVD? Si es tamaño es muy pequeño probablemente esté vacío el QVD.

Re: Carga incremental a Sense Desktop

edgarestrada — Wed, 04 May 2016 15:48:04 GMT

Estoy rehaciendo la carga en este momento.

Re: Carga incremental a Sense Desktop

edgarestrada — Wed, 04 May 2016 16:46:50 GMT

Alejandro:

1) La carga estaba mal, ya quedo.

2) El ultimo registro del campo momento de la carga inicial trae el valor serial de la fecha 4294.374571759

3) Cuando le doy el PEEK, me arroja 4294.437071759

Pregunta: el QLIK Altera de alguna forma la fecha y hora de los campos seriales de fecha?

Re: Carga incremental a Sense Desktop

alexdataiq — Wed, 04 May 2016 17:12:30 GMT

El cambio en la fecha es porqué se aplicó la función Num al campo Momento, lo cual es recomendable. Lo que está antes del punto decimal corresponde a la fecha y lo que está después a la hora. Aunque el valor de la fecha aparezca como serial es fácil mostrarlo como Fecha o Timestamp en las propiedades de número en los objetos.

Re: Carga incremental a Sense Desktop

edgarestrada — Wed, 04 May 2016 19:41:02 GMT

Alejandro:

Ya quedo arreglado.

Tuve que agregar un campo ID único a mi base de datos, y desde ese momento todo fue mucho mas sencillo.

Moraleja: Trabajar con fechas, horas, minutos en Qlik sense ++ MS SQL es un DOLOR de CABEZA.

Saludos!!