Symptômes pour la croissance du répertoire d’index

Le répertoire d'index agrandi sera dû à

Cas 1: le contenu est ajouté ou modifié en continu dans l’espace de travail. Cette opération entraîne probablement la création d'un nouveau segment (les dossiers du dossier d'index) contenant de nouveaux documents.

Cas 2 : le segment créé au-dessus doit être fusionné. Ce processus se produit de manière asynchrone et est déclenché par des modifications apportées au référentiel. La fusion de segment s'exécutera jusqu’à la fin et continue de s'exécuter quand aucune autre modification n'est effectuée.

Comment distinguer les deux cas ci-dessus

  • Les nouveaux dossiers d'index et Tar PM ont été créés à un taux constant pour Cas 1.
  • En même temps, de nouveaux dossiers / segments d'index sont finalement fusionnés dans des plus grands, ce qu’indique Cas 2. La plupart des fusions d'index sont rapides car le segment d'index résultant n'est pas si important. Mais de temps en temps, des segments d'index plus grands sont fusionnés, ce qui prend du temps et consomme plus d'espace disque. Une fusion d'index est effectuée en arrière-plan et remarquera une activité même s'il n'y a pas de modifications apportées au référentiel. Depuis le système de fichiers, un seul dossier / segment continue de croître. Ce fichier unique est le segment cible de la fusion.

Remarque :

 

  • Au cas où le référentiel serait arrêté avant la fusion du segment. Au prochain démarrage de l'instance, le référentiel démarrera une fusion de segment à partir de zéro.
  • Les fusions d'index sont enregistrées au niveau INFO dans crx error.log comme [1]. Distribuée depuis les journaux "IndexMerger" et triée par le numéro pour trouver le nombre de documents fusionnés.

    [1] *INFO * IndexMerger: merged 250 documents in 724 ms into _21f. (IndexMerger.java,.....

Considérations relatives à l’espace disque

La fusion de segments d'index peut utiliser temporairement jusqu'à trois fois la taille d'index initiale. Exemple

  1. Disons 10 segments d'index d'une taille de 1 Go chacun.
  2. Au cours du processus de fusion d'indices, créez un nouveau segment en prenant le contenu d'index des 10 segments existants. Le segment résultant sera alors jusqu'à 10 Go. Il peut être plus petit car le processus de fusion ne copiera pas sur les nœuds marqués comme supprimés dans les 10 segments source.
  3. À l'étape suivante, le nouveau segment est copié dans un format de fichier composé afin de réduire le nombre de descripteurs de fichiers nécessaires pour accéder à l'index. Cela nécessite encore à peu près la même taille sur le disque. Dans notre exemple ici encore 10 Go.

La somme supérieure à trois résulte désormais en une nouvelle taille d'index d'environ 30 Go d'espace disque. Cependant, dans une étape finale, les anciens segments d'index et les fichiers non composés sont supprimés et la consommation de disque réduite à 10 Go.

Fusion des index de contrôle

  • Par défaut, le nombre maximal de nœuds dans les segments à fusionner est Integer.MAX_VALUE.  
  • Pour limiter l'utilisation de disque temporaire lors de la fusion de segments, utilisez le paramètre de configuration "maxMergeDocs" dans l'élément SearchIndex du fichier workspace.xml. Le paramètre "maxMergeDocs" configure le nombre maximal de documents à fusionner en un seul segment.
  • La valeur préférée de maxMergeDocs dépend du référentiel. Analysez les fichiers de segment d'index existants (par exemple, en utilisant Luke) pour savoir combien de documents se trouvent dans un segment d'index.

Réduction de la taille de l'index

Réduisez le nombre de nœuds en supprimant les nœuds qui ne sont pas requis comme les instances de flux de production terminées, le journal de contrôle, etc. Les articles à consulter pour obtenir de l’aide sont

  • https://helpx.adobe.com/fr/cq/kb/howtopurgewf.html
  • https://helpx.adobe.com/fr/cq/kb/how-to-optimize-lucene-index-to-gain-efficiency.html
  • https://helpx.adobe.com/fr/communique/kb/Stopwordlist.html

De plus, la réindexation de l'espace de travail peut également réduire la taille de l'index car l'index ne libère pas immédiatement l'espace disque lorsqu'un nœud est supprimé. Cela se produit uniquement lorsque le segment d'index affecté contenant le nœud est fusionné.

Ce produit est distribué sous licence Creative Commons Attribution - Pas d’utilisation commerciale - Partage à l’identique 3.0 non transposé  Les publications Twitter™ et Facebook ne sont pas couvertes par les dispositions Creative Commons.

Mentions légales   |   Politique de confidentialité en ligne