Symptome für das Wachstum des Indexverzeichnisses

Das wachsende Indexverzeichnis wird verursacht durch

Case1: Inhalt wird kontinuierlich im Arbeitsbereich hinzugefügt oder geändert. Diese Operation führt wahrscheinlich dazu, dass ein neues Segment (die Ordner im Indexordner) mit neuen Dokumenten darin angelegt wird.

Case2: Das oben angelegte Segment muss zusammengeführt werden. Dieser Prozess erfolgt asynchron und wird durch Änderungen am Repository ausgelöst. Die Segmentzusammenführung läuft so lange, bis sie abgeschlossen ist, und wird auch dann noch ausgeführt, wenn keine Änderungen mehr stattfinden.

Unterscheidung der beiden oben genannten Fälle

  • Die neuen Indexordner und Tar-PM wurden mit einer konstanten Rate für Case1 erstellt.
  • Gleichzeitig werden neue Indexordner/Segmente zu größeren zusammengeführt, wie in Case2 dargestellt. Die meisten Indexzusammenführungen sind schnell, da das resultierende Indexsegment nicht so groß ist. Ab und zu werden jedoch größere Indexsegmente zusammengeführt, was einige Zeit in Anspruch nimmt und auch mehr Speicherplatz beansprucht. Eine Indexzusammenführung erfolgt im Hintergrund und zeigt Aktivitäten an, auch wenn keine Änderungen am Repository vorgenommen werden. Im Dateisystem wächst der einzelne Ordner/Segment weiter. Diese einzelne Datei ist das Zielsegment der Zusammenführung.

Hinweis:

 

  • Falls das Repository heruntergefahren wurde, bevor die Segmentzusammenführung abgeschlossen ist. Beim nächsten Start der Instanz startet das Repository eine Segmentzusammenführung von Grund auf neu.
  • Indexzusammenführungen werden auf INFO-Ebene in crx error.log wie [1] protokolliert. Greppen Sie aus den Protokollen „IndexMerger“ und sortieren Sie nach der Nummer, um die Anzahl der zusammengeführten Dokumente zu finden.

    [1] *INFO * IndexMerger: merged 250 documents in 724 ms into _21f. (IndexMerger.java,.....

Überlegungen zum Festplattenspeicher

Das Zusammenführen von Indexsegmenten kann temporär bis zum Dreifachen der ursprünglichen Indexgröße in Anspruch nehmen. Als Beispiel

  1. Wir nehmen 10 Indexsegmente mit einer Größe von je 1 GB an.
  2. Der Prozess der Indexzusammenführung erstellt ein neues Segment, indem die Indexinhalte der 10 bestehenden Segmente übernommen werden. Das resultierende Segment erreicht dann eine Größe von bis zu 10 GB. Es kann kleiner sein, weil der Zusammenführungsprozess nicht über Knoten kopiert, die in den 10 Quellsegmenten als gelöscht markiert wurden.
  3. In der nächsten Phase wird das neue Segment in ein zusammengesetztes Dateiformat kopiert, um die Anzahl der Handles zu reduzieren, die für den Zugriff auf den Index erforderlich sind. Dieser Vorgang erfordert wiederum etwa die gleiche Größe auf der Festplatte. Hier in unserem Beispiel erneut 10 GB.

Die Summe der drei obigen Vorgänge ergibt nun die neue Indexgröße von ca. 30 GB Speicherplatz. In einem letzten Schritt werden jedoch die alten Indexsegmente und die nicht zusammengesetzten Dateien gelöscht und die Speicherplatznutzung auf 10 GB reduziert.

Indexzusammenführungen steuern

  • Standardmäßig ist die maximale Anzahl von Knoten in Segmenten, die zusammengeführt werden, Integer.MAX_VALUE.  
  • Um die temporäre Speicherplatznutzung bei der Segmentzusammenführung einzuschränken, verwenden Sie den Konfigurationsparameter „maxMergeDocs“ innerhalb des SearchIndex-Elements in der Datei workspace.xml. Der Parameter „maxMergeDocs“ konfiguriert die maximale Anzahl von Dokumenten, die zu einem einzelnen Segment zusammengeführt werden sollen.
  • Der bevorzugte Wert von „maxMergeDocs“ hängt vom Repository ab. Analysieren Sie die vorhandenen Indexsegmentdateien (z. B. mit Luke), um herauszufinden, wie viele Dokumente sich in einem Indexsegment befinden.

Indexgröße reduzieren

Reduzieren Sie die Anzahl der Knoten, indem Sie nicht benötigte Knoten wie abgeschlossene Workflow-Instanzen, Auditprotokolle etc. entfernen. Folgende Artikel helfen Ihnen dabei:

  • https://helpx.adobe.com/de/cq/kb/howtopurgewf.html
  • https://helpx.adobe.com/de/cq/kb/how-to-optimize-lucene-index-to-gain-efficiency.html
  • https://helpx.adobe.com/de/communique/kb/Stopwordlist.html

Darüber hinaus kann eine Neuindizierung des Workspace die Indexgröße reduzieren, da der Index beim Löschen eines Knotens nicht sofort Speicherplatz freigibt. Dies geschieht nur, wenn das betroffene Indexsegment, das den Knoten enthält, zusammengeführt wurde.

Dieses Werk unterliegt den Bedingungen der Creative Commons Attribution-Noncommercial-Share Alike 3.0 Unported License.  Twitter™- und Facebook-Beiträge fallen nicht unter die Bedingungen der Creative Commons-Lizenz.

Rechtliche Hinweise   |   Online-Datenschutzrichtlinie