Qlik Community

Qlik Bulgaria

Announcements
Members are not receiving notifications from the community. A bug has been identified and a fix is coming soon.
cancel
Showing results for 
Search instead for 
Did you mean: 
Highlighted
Contributor III
Contributor III

Delta Load Optimization

Здравейте колеги,

някой от вас има ли опит с Delta Load / Incremental Load и ако да - можете ли да препоръчате някои добри практики?

Благодаря предварително.

Успешен ден,

Витали

7 Replies
Highlighted
Partner
Partner

Здрасти Витали,

Хелп страницата много добре го казва "The complexity of the actual solution depends on the nature of the source database" Можеш обаче да прочетеш тук концептуално какво може да се прави и вече да решиш кой метод ти трябва на теб.

https://help.qlik.com/en-US/qlikview/April2019/Subsystems/Client/Content/QV_QlikView/QVD_Incremental...

Highlighted
Partner
Partner

По принцип има 2 варианта, единия е както е показан в Help Page - със променливи ThisExecTime и LastExecTime. 

Другият начин е при всяко прочитане на старите данни от qvd, да изкарваш

vtimestamp=MAX (TimestampField) или да взимаш последното Timestamp време, и правиш зареждането на таблицата от базата

много е важен въпроса, какъв точно  е изтточника ти на данни и в какъв формат са данните, колко често трябва да се обновява и такива неща, като цяло модела с insert/update/delete е най-оптимален но малко по сложен за имплементация

where TimestampField>=vtimestamp

Highlighted
Contributor III
Contributor III

Под-въпрос: ако говорим за сравнително малки масиви от данни (под 1 милион, често пъти и под 100 хил. реда),  база в SQL Server, с 4-степенна QVD структура, доколко би имало полза от въвеждането и на Incremental Refresh? Освен като упражнение по скриптове, ще има ли според вас някаква осезаема разлика?

Благодаря пак!

Highlighted
Contributor III
Contributor III

Здравей Витали,

За такива малки количества не си заслужава да си вкарваш таралеж в гащите. 

Що се отнася за концепта Incremental LOAD, който QlikView предлага, не го препоръчвам. Много е ограничен. Ако работиш с много транзакции, можеш да актуализираш данните като ги разделяш на месечни шайби и ги запазваш в QVD-формат. Аз работя с тоя метод в нашата фирма и съм много доволен.

Поздрави

Румен

Highlighted
Contributor III
Contributor III

Много благодаря. Имах и аз такива подозрения, с Клик работя от около 6 месеца някъде, много повече с Power BI, но е сходна логиката и в двата тула. Клиентът явно иска да сложи/пробва всичко дето са гледали по форумите, без значение има ли смисъл или не...

Highlighted
Partner
Partner

Здравей, Витали

Подкрепям мнението на Румен, Incremental е доста калпав в QlikView, и има моменти в който имаш 2 транзакционни таблици( едната е с сумата, а другата е с сумата разбита по типове) и имахме моменти в който имаше закъснения в инкрементирането на тези таблици и се получавах разминавания в резултатите. 

По темата, ако full load на данни ти е под 5 минути няма нужда от incremental

Highlighted
Contributor III
Contributor III

Благодаря много на всички. Не знам дали има съществено значение за Incremental Refresh, но при нас е Qlik Sense. 

А за вас ако представлява интерес, попаднах на този линк за ускоряване на QVD Partitioning: https://aftersync.com/blog/qvd-segmentation-2-0-speeding-up-qvd-partitioning-by-up-to-5x

Междудругото - имате ли желание да заформим някаква неформална сбирка някой път? По принцип ходя и на Табло срещите, и на Power BI събитията, и е доста полезен начин за обмяна на опит.