limiter le nombre de session oracle pour l'application Qlick Replicat

[Nico-B]

Bonjour,

j'ai besoin de limiter le nombre de session Oracle de l'application Qlick Replicate. 

Il y a actuellement 10 taches de réplications qui lancent chacune entre 5 et 10 sessions. 

je voudrais limiter a 2 sessions par taches de réplications. 

Comment faire? 

Cordialement

Nicolas Brasseur

[Maria_Halley]

@Nico-B 

I have moved this post from the QlikView administration board to the Qlik Replicate board.

[KellyHobson]

Hey @Nico-B ,

Avec la conception de Replicate, vous ne pourrez pas réduire le nombre de connexions à 2 par tâche.

Vous trouverez ci-dessous des instructions sur le nombre de connexions par tâche :

Chargement complet (Full Load) - pour chaque table en cours de chargement, c'est-à-dire pour chaque sous-tâche :
1 connexion pour les métadonnées
1 connexion pour décharger les données
1 connexion pour la lecture LOB-- La connexion est ouverte si le support LOB est activé (limité ou complet) bien qu'il ne soit pas requis en mode LOB limité…

CDC:
1 connexion pour les métadonnées
1 raccordement pour la fusion
1 connexion pour le lecteur – Une connexion par nœud RAC.
1 connexion pour la lecture LOB Au moment de la conception – – Le serveur répliqué ouvre une connexion.

Si vous avez plus de 2 tâches de lecture à partir de la même base de données source Oracle, nous vous recommandons fortement d'implémenter une tâche de log stream.

Avec Log Stream, une seule tâche lit à partir de la source, ce qui réduira considérablement la surcharge et le nombre de connexions à la source.

Ref:  https://help.qlik.com/en-US/replicate/November2021/Content/Replicate/Main/Log%20Stream%20Staging/ls1...

https://help.qlik.com/en-US/replicate/November2021/Content/Replicate/Main/Log%20Stream%20Staging/ls1...

autres avantages du log stream :

Les modifications sont écrites en continu dans le flux de journaux, quelle que soit la disponibilité du point de terminaison cible.

Étant donné que les modifications sont constamment transmises en continu à la machine du serveur de réplication, le SLA de réplication qui nécessite la définition d'une politique de conservation des journaux étendue sur la source au cas où la cible ne serait pas accessible n'est plus applicable. Cela vous permet de réaffecter des ressources précieuses sur la source tout en garantissant que les fichiers journaux seront à jour (sur la machine Replicate Server) même si la cible devient indisponible.

Lors de la réplication d'une base de données source unique vers plusieurs cibles, chaque cible peut avoir son propre sous-ensemble de données de flux de journaux (tables, lignes, etc.) et être démarrée, arrêtée et planifiée indépendamment des autres.

Réponse utile sur le serveur SQL en tant que source

Cordialement,

Kelly

[KellyHobson · Accepted solution]

English translation:

Good morning,

I need to limit the number of Oracle sessions of the Qlik Replicate application.

There are currently 10 replication tasks that each launch between 5 and 10 sessions.

I would like to limit to 2 sessions per replication task.

How to do?

=====================

With the way Replicate is designed, you will not be able to get the number of connections down to 2 per task.

Below are guidelines on the number of connections per task:

Full Load – for each table that is being loaded, i.e for each subtask:
1 connection for metadata 
1 connection for unloading the data 
1 connection for LOB read-- The connection is opened if LOB support is enabled (Limited or Full) although, it is not required in limited LOB mode… 

CDC: 
1 connection for metadata 
1 connection for the merger 
1 connection for the reader – One connection per RAC node. 
1 connection for LOB read At design time – – The replicate server opens a connection.

If you have more than 2 task reading from the same Oracle source DB, we highly recommend implementing a log stream task.

With Log Stream, only 1 task reads from the source which will significantly reduce the overhead and number of connections to the source.

Ref: https://help.qlik.com/en-US/replicate/November2021/Content/Replicate/Main/Log%20Stream%20Staging/ls1...

https://help.qlik.com/en-US/replicate/November2021/Content/Replicate/Main/Log%20Stream%20Staging/ls1...

other benefits of log stream:

Changes are continuously written to the log stream regardless of the availability of the target endpoint.

As the changes are constantly streamed to the Replicate server machine, the Replicate SLA that requires an extended log retention policy to be defined on the source in case the target cannot be accessed is no longer applicable. This allows you to reallocate valuable resources on the source while ensuring that log files will be up-to-date (on the Replicate Server machine) even if the target become unavailable.

When replicating a single source database to multiple targets, each target can have its own subset of the log stream data (tables, rows, etc.) and be started, stopped, and scheduled independently of the others.

Helpful reply about SQL server as source number of connections 

All the best,

Kelly

[Nico-B]

hi @KellyHobson ,

Merci pour ce retour , je vais tester la fonctionnalité Log Stream.

Cordialement

Nico B

[Barb_Fill21]

Pour réduire le nombre de connexions à Oracle, vous devez réduire le nombre de tâches.

Essayez d’utiliser Logstream comme solution. Vous auriez 1 tâche intermédiaire Logstream pour extraire les transactions et les modifications de toutes vos tables dans un dossier intermédiaire sur le serveur de réplication. Ensuite, lisez de nombreuses réplications (tâches enfants) à partir du dossier intermédiaire du serveur de réplication.

Avec cette méthode, seules les connexions pour le Losgtream seront connectées à Oracle.

[Nico-B]

hi @Barb_Fill21 

Merci pour l'aide. je suis en train de tester la fonctionnalité qui me parait répondre a tous mes besoins. 

Cordialement

NicoB 

[Nico-B]

hi @KellyHobson , hi @Barb_Fill21 

j'ai testé le LogStream, ca répond parfaitement a mon besoin, mais il y a une limitation pour les lob et j'ai ce message : The value of column 'BLOB_CONTENU' in table 'C2289.BAS_BLOB' was truncated to length 8192

Comment je peux contourner ? 

il y a une doc sur le fonctionnement technique du LogStream? 

Cordialement

Nico.B