Skip to main content
Announcements
Have questions about Qlik Connect? Join us live on April 10th, at 11 AM ET: SIGN UP NOW
cancel
Showing results for 
Search instead for 
Did you mean: 
stark___
Contributor III
Contributor III

Как ускорить работу файла?

Всем добрый день.

Столкнулся с такой проблемой: очень долго обрабатывается каждый клик.

Есть файл с данными о продажах за последние три года, который "весит" 650 мб. После открытия, файл занимает 1,3 Гб оперативной памяти. Структура данных простая: четыре таблицы. Первая - база, которая имеет 84 000 000 строк и 12 полей, остальные - справочники.

структура.jpg

Для эксперимента оставил одну диаграмму - сводную таблицу, в которой пять измерений: Поставщик, Категория, Ассортимент, Год, Месяц. и одно выражение - sum(Количество).

Проблема такая: при попытке развернуть все измерения, то время обновления данных в сводной таблице может достигать до 40 сек.. Отбор какого-то значения, например: год или месяц, то 10-20 сек.

Посоветуйте, как можно ускорить обновление данных в сводной таблице?

С уважением, Сергей.

16 Replies
vkozlov
Partner - Creator
Partner - Creator

Привет а на каком железе ты разворачиваешь приложение с 80 млн строк?

Не понял,  приложение с  80 000 000 строк разворачиваются всего в 1.3 Гб оперативки?

Eugeny_Ilyin
Creator II
Creator II

Привет.
Сводная таблица - очень тяжелый объект.

Какое выражение в сводной таблице? Измерения задаются из полей или выражениями?

stark___
Contributor III
Contributor III
Author

Приложение разворачивается на сервере: процессор AMD Phenom II X2 545 3 GHz, ОЗУ -16 ГБ.

Измерения задаются из полей, без формул. Сейчас выражение только одно:  SUM(Количество).

А так должно быть еще сравнение с прошлым годом, рейтинги, доли и т.д.

vkozlov
Partner - Creator
Partner - Creator

Ты сильно ограничен по железу

Только что развернул приложение Qlik 100 млн строк с простейшим отчетом аналогичным Sum(Sales) по одному измерению(количество уникальнх значений измерения - 5000)

Это приложение уже развернулось на 11 гигов, не говоря про отчеты сравнительные с долями итд итп.

Все у тебя с оптимизацией Ок. У тебя домашнее решение с 16 гигами и 2-ядерным процом не тащит такую задачу.

stark___
Contributor III
Contributor III
Author

Какое железо требуется, чтобы потянуть такой объем?

Eugeny_Ilyin
Creator II
Creator II

И все хотите делать в сводной таблице?
Вы ставите задачу как для OLAP-сервера.

vkozlov
Partner - Creator
Partner - Creator

Лицензии клика я так понял у тебя нет, ты в десктопной версии собрал модель?

Если продолжать в сторону домашнего решения, то 1 процесс  .qvw  может работать на i7 в рамках 32Гигов. Просто у клика потенциал очень большой, если в ходу будут очень детализированные анализы, много аггрегации, то напрашивается серверное решение 100+гигов и чтонить типа E5 2660 v4

stark___
Contributor III
Contributor III
Author

Vladimir Kozlov написал(а):

Лицензии клика я так понял у тебя нет, ты в десктопной версии собрал модель?

У меня локальная лицензия.

vkozlov
Partner - Creator
Partner - Creator

Локальная = Qlik Desktop?