topic Re: Millones de registros in Español

Millones de registros

Anonymous — Fri, 04 Dec 2015 11:32:31 GMT

Buenos días,

El tema que hablo ahora no es una duda concreta de algo específico, sino más bien abrir un debate para recapitular infromación de este tema. Yo quiero saber que tal funcionaria qlikview manejando millones de registros y si necesita muchos recursos.

Se trataria por ejemplo de cargar un millon de registros al dia o un volumen de datos de ese estilo. No me preocupa en si que la recarga de los datos tarde más o menos, que supongo que con ese volumen de datos pues tardará bastante, sino como el programa puede manejarlos con soltura a la hora de hacer selecciones y demás.

Si alguien tiene experiencia manejando estos volumenes de datos, o conoce ejemplos, agradeceria información al respecto

Un saludo

Re: Millones de registros

alexis_garcia — Fri, 04 Dec 2015 11:55:45 GMT

Hola Jonay,

Te cuento mi propia experiencia.

Tengo un documento que tiene millones y millones de registros, al principio era muy lento, hasta que decidí hacer uso de "buenas prácticas" en el modelado de las tablas y demás, así conseguí que el documento fuera bastante ágil.

También consumen mucha memoria determinados gráficos. Mira en propiedades de documento y podrás ver el consumo de cada uno de ellos.

Incide mucho en intentar que no hayan tablas sintéticas.

Espero que te sea de ayuda.

Un saludo.

Re: Millones de registros

Joaquin_Lazaro — Fri, 04 Dec 2015 12:45:51 GMT

Hola Jonay:

Bien por lo que dice Alexis.

No es solo la cantidad de registros que importas, en el rendimiento también afecta cómo están asociadas las tablas y las operaciones que realizas dentro de las expresiones. El ejemplo más claro es el count(IdPedido), siempre

recomiendan crear un campo 1 as cuentapedido y hacer un sum(cuentapedido)

Otra forma de mejorar el rendimiento es crear los campos clave entre tablas con la función autonumber; aunque los autonumber son complejos de tratar con los qvd.

También hay formas de combatir los millones de registros, creando procesos de cargas repartidos por fechas.

Saludos

Joaquín

Re: Millones de registros

ecolomer — Sun, 13 Dec 2015 13:03:13 GMT

Hola,

Lo importante es hacer un buen diseño de las tablas y de las relaciones para que sea eficiente y ocupe poco espacio.

Yo tengo numerosos ejemplos de ficheros QV que no llegan a ocupar los 100 Mb, son muy eficientes en términos de rapidez de respuesta en todos los gráficos y detrás tienen, 15 millones de registros obtenidos de NAVISION por ejemplo.

Además es importante planear bien la estrategia de carga haciéndola incremental e inclusive haciendo recargas desde el propio QV.

Ver ejemplo:

En este ejemplo se pueden recargar trozos, según los intereses y periodos parciales.

El ejemplo utilizado se usa para hacer simulaciones y proyecciones

Espero que os sirva

Saludos,

Enrique Colomer

Re: Millones de registros

alexis_garcia — Mon, 14 Dec 2015 07:40:26 GMT

Hola Enrique,

Muy bueno el ejemplo que planteas!

Podrías poner el ejemplo?

A mi especialmente me sería de gran ayuda.

Gracias.

Un saludo.

Re: Millones de registros

ecolomer — Mon, 14 Dec 2015 10:57:07 GMT

Hola,

Qué quieres que suba el fichero QV?

Salu2

Re: Millones de registros

alexis_garcia — Mon, 14 Dec 2015 12:14:30 GMT

Hola Enrique,

Sí, me refería a si puedes subir el QV, ya que me sería de gran ayuda.

Gracias.

Un saludo.

Re: Millones de registros

ecolomer — Mon, 14 Dec 2015 12:30:03 GMT

Hola

Ahí va.

Re: Millones de registros

alexis_garcia — Mon, 14 Dec 2015 14:41:40 GMT

Muchísimas gracias Enrique.

Te aseguro que me va a ser de gran ayuda!

Un placer poder seguir aprendiendo gracias a todos.

Un saludo.

Re: Millones de registros

julian_rodriguez — Mon, 14 Dec 2015 14:49:41 GMT

Escenarios como 60 millones de registros, distribución de más de 400 qvw's en un sistema clusterizado, para alrededor de 2000 usuarios son posibles siempre y cuando tengas presente las recomendaciones de diseño, desarrollo y despliegue.

Revisa detalladamente el Enterprise Framework de Qlikview y encontrarás lo que necesitas para optimizar tu solución.

Saludos

Re: Millones de registros

ecolomer — Sun, 10 Jan 2016 22:37:40 GMT

Hola,

Ha quedado respondida la inquietud?

En caso afirmativo, te ruego que marques una respuesta como válida y cierres el hilo. Gracias

Saludos,

Enrique Colomer

KonoGes

Re: Millones de registros

Anonymous — Fri, 26 Feb 2016 14:16:24 GMT

Buenas, vuelvo a escribir en el tema, ya que ha llegado el momento de enfrentarme a muchos registros y quiero ver la forma de optimizar todo en la media de lo posible.

No puedo abrir el fichero de Enrique, porque tengo la persona edition y por tanto no puedo verlo

Cuando hablan de buenas prácticas en el modelado de las tablas, ¿podrian poner ejemplos concretos de que se considera una buena practica y cual no?

Hago una cuestión, cuando tienes que hacer join con varias tablas en mysql, para generar la tabla que es más eficiente. ¿Crear una tabla conjunta con toda la informacion que necesitas o hacer algo como lo siguiente?

select ID1,ID2,campo3, campo4,campo5

from

left join on

select ID2,campo7,campo8

from

Un saludo

Re: Millones de registros

Joaquin_Lazaro — Fri, 26 Feb 2016 14:24:30 GMT

Hola Jonay:

Respecto a las Data Modelling Best Practices, lee estos enlaces por favor.

Best Practices for Data Modelling

Best Practices in Data Modeling.pdf

Saludos

Joaquín

Re: Millones de registros

Joaquin_Lazaro — Fri, 26 Feb 2016 15:57:24 GMT

Hola Jonay:

Respecto al rendimiento de las diferentes JOINS la respuesta la tiene el servidor MYSQL (en tu caso), si las tablas que vas a unir tienen los índices adecuados el rendimiento será más eficiente que si no los tiene.

Por tanto, mi recomendación es que hagas las dos pruebas midiendo el tiempo, así sabrás que es más eficiente.

Saludos

Joaquín

Re: Millones de registros

Anonymous — Mon, 29 Feb 2016 13:23:48 GMT

Buenos días,

Otra duda que me surge, es si al manejar tal número de registros, los requisitos de hardware se disparan o si haciendo uso realmente de buenas prácticas el programa es capaz de manejar esos volúmenes de datos sin tener que aumentar mucho memoria y el resto de recursos

Un saludo

Re: Millones de registros

Joaquin_Lazaro — Mon, 29 Feb 2016 14:13:41 GMT

Hola Jonay:

El rendimiento no solo depende del número de registros, también del número de campos e incluso de diferente valores para cada campo; también la cantidad de gráficos u otros objetos en el documento así como la complejidad de cada set análisis.

Cuantos más hay de todo, más máquina hace falta, si es un entorno corporativo la velocidad de la red y la velocidad de cada origen de datos aporta su factor de corrección sobre el rendimiento. Como cada instalación es diferente a otras lo mejor es que hagas varias versiones de tu app para ver cual responde mejor.

En mi caso, es posible leer a varios orígenes de datos mediante OLEDB u ODBC realizando la mediciones pertinentes descubrí que es mucho más rápido OLEDB.

Saludos

Joaquín

Re: Millones de registros

ecolomer — Mon, 29 Feb 2016 14:29:15 GMT

Hola,

Coincido en todo lo que dice JoaquinLR, con la matización que la velocidad entre OLEDB y ODBC depende mucho de la base de datos, aunque en general también es cierto que mayoritariamente es mejor el rendimiento con OLEDB.

Saludos,

Enrique Colomer

Re: Millones de registros

Anonymous — Fri, 04 Mar 2016 15:54:37 GMT

Buenas, una duda que tengo referente a los conectores. He intentado buscar el conector de oledb para mysql y no hay nada en la página oficial. ¿Realmente no hay un conector original que de soporte a mysql?

Página oficial: MySQL :: MySQL Connectors

Un saludo

Re: Millones de registros

Joaquin_Lazaro — Fri, 04 Mar 2016 15:57:04 GMT

Si lo hay ... pero ODBC

Re: Millones de registros

Anonymous — Fri, 04 Mar 2016 15:58:45 GMT

Ya, pero lo que intentaba es descargar un conector oledb a ver si realmente la velocidad del conector se notaba, como se comentaba más arriba.

Ya el odbc es el que utilizo por defecto

Un saludo