Skip to main content

Bulgaria

Announcements
On-Demand Webinar: Learn proven best practices for a smooth transition to Qlik Sense® SaaS. REGISTER
cancel
Showing results for 
Search instead for 
Did you mean: 
Vitali
Contributor III
Contributor III

Delta Load Optimization

Здравейте колеги,

някой от вас има ли опит с Delta Load / Incremental Load и ако да - можете ли да препоръчате някои добри практики?

Благодаря предварително.

Успешен ден,

Витали

7 Replies
hristo_hristov
Partner - Enthusiast III
Partner - Enthusiast III

Здрасти Витали,

Хелп страницата много добре го казва "The complexity of the actual solution depends on the nature of the source database" Можеш обаче да прочетеш тук концептуално какво може да се прави и вече да решиш кой метод ти трябва на теб.

https://help.qlik.com/en-US/qlikview/April2019/Subsystems/Client/Content/QV_QlikView/QVD_Incremental...

tomovangel
Partner - Specialist
Partner - Specialist

По принцип има 2 варианта, единия е както е показан в Help Page - със променливи ThisExecTime и LastExecTime. 

Другият начин е при всяко прочитане на старите данни от qvd, да изкарваш

vtimestamp=MAX (TimestampField) или да взимаш последното Timestamp време, и правиш зареждането на таблицата от базата

много е важен въпроса, какъв точно  е изтточника ти на данни и в какъв формат са данните, колко често трябва да се обновява и такива неща, като цяло модела с insert/update/delete е най-оптимален но малко по сложен за имплементация

where TimestampField>=vtimestamp

Vitali
Contributor III
Contributor III
Author

Под-въпрос: ако говорим за сравнително малки масиви от данни (под 1 милион, често пъти и под 100 хил. реда),  база в SQL Server, с 4-степенна QVD структура, доколко би имало полза от въвеждането и на Incremental Refresh? Освен като упражнение по скриптове, ще има ли според вас някаква осезаема разлика?

Благодаря пак!

vasilev
Contributor III
Contributor III

Здравей Витали,

За такива малки количества не си заслужава да си вкарваш таралеж в гащите. 

Що се отнася за концепта Incremental LOAD, който QlikView предлага, не го препоръчвам. Много е ограничен. Ако работиш с много транзакции, можеш да актуализираш данните като ги разделяш на месечни шайби и ги запазваш в QVD-формат. Аз работя с тоя метод в нашата фирма и съм много доволен.

Поздрави

Румен

Vitali
Contributor III
Contributor III
Author

Много благодаря. Имах и аз такива подозрения, с Клик работя от около 6 месеца някъде, много повече с Power BI, но е сходна логиката и в двата тула. Клиентът явно иска да сложи/пробва всичко дето са гледали по форумите, без значение има ли смисъл или не...

tomovangel
Partner - Specialist
Partner - Specialist

Здравей, Витали

Подкрепям мнението на Румен, Incremental е доста калпав в QlikView, и има моменти в който имаш 2 транзакционни таблици( едната е с сумата, а другата е с сумата разбита по типове) и имахме моменти в който имаше закъснения в инкрементирането на тези таблици и се получавах разминавания в резултатите. 

По темата, ако full load на данни ти е под 5 минути няма нужда от incremental

Vitali
Contributor III
Contributor III
Author

Благодаря много на всички. Не знам дали има съществено значение за Incremental Refresh, но при нас е Qlik Sense. 

А за вас ако представлява интерес, попаднах на този линк за ускоряване на QVD Partitioning: https://aftersync.com/blog/qvd-segmentation-2-0-speeding-up-qvd-partitioning-by-up-to-5x

Междудругото - имате ли желание да заформим някаква неформална сбирка някой път? По принцип ходя и на Табло срещите, и на Power BI събитията, и е доста полезен начин за обмяна на опит.