Oak のオフライン圧縮 - パフォーマンス向上、メモリ問題の回避および進行状況の追跡

検索

最終更新日 : 2021年4月27日

大規模な Oak リポジトリでオフライン Tar 圧縮を実行した場合、処理速度が遅くなり、OutOfMemoryException が発生します。進行状況を追跡することはできません。また、オフライン圧縮後にリポジトリのサイズが大きくなる場合もあります。

環境

Adobe Experience Manager 6.x

Oak 1.2.x および 1.4.x

解決策

次のコマンドを使用します。

sudo -u crx nohup /usr/java/latest/bin/java -Dtar.memoryMapped=true -Doak.compaction.eagerFlush=true -server -Xmx30g -Dcompaction-progress-log=5000000
-Dlogback.configurationFile=logback-compaction.xml -Dcompress-interval=150000000 -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/path/to/dumps
-jar oak-run-1.2.16-R1750358.jar compact /path/to/segmentstore >> oak-tar-compact-a0.log 2>>oak-tar-error-a0.log

注意：いくつかのパラメーターはパスを変更する必要があります。

AEM6.1 では oak-run バージョン 1.2.17 以降、AEM6.2 では oak-run バージョン 1.4.4以降で、次のような新しいパラメーターが追加されています。

-Dlogback.configurationFile=logback-compaction.xml - 圧縮の進行状況を記録します。logback-compaction.xml ファイルは、oak-run jar と同じ場所に追加する必要があります。

logback-compaction.xml：

<?xml version="1.0" encoding="UTF-8"?>
<configuration debug="true">
 
  <appender name="STDERR" class="ch.qos.logback.core.FileAppender">
    <file>/mnt/dumps/compaction.log</file>
    <encoder>
      <pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern>
    </encoder>
  </appender>
 
  <logger name="org.apache.jackrabbit.oak.plugins.segment.Compactor" level="DEBUG"/>
 
  <root level="warn">
    <appender-ref ref="STDERR" />
  </root>
</configuration>

-Doak.compaction.eagerFlush=true - 圧縮プログラムが一貫したトランザクションを利用できるようにする、新しいフラグです。これにより、Out of Memory 例外を防止できます。

進行状況の追跡：

compaction.log：

18:18:34.531 [main] WARN  o.a.j.o.p.segment.file.TarReader - Could not find a valid tar index in [/mnt/crx/author/crx-quickstart/repository/segmentstore/data01624a.tar], recovering...
18:18:36.569 [main] DEBUG o.a.j.oak.plugins.segment.Compactor - Eager flush enabled.
18:19:36.910 [main] DEBUG o.a.j.oak.plugins.segment.Compactor - Compacted 5000000 nodes, 1987504 properties, 57 binaries in 60328 ms.
18:22:06.905 [main] DEBUG o.a.j.oak.plugins.segment.Compactor - Compacted 10000000 nodes, 4771516 properties, 294 binaries in 149994 ms.
18:23:46.708 [main] DEBUG o.a.j.oak.plugins.segment.Compactor - Compacted 15000000 nodes, 6505235 properties, 323 binaries in 99803 ms.
18:36:38.014 [main] DEBUG o.a.j.oak.plugins.segment.Compactor - Compacted 20000000 nodes, 25559366 properties, 430789 binaries in 771305 ms.
18:40:46.736 [main] DEBUG o.a.j.oak.plugins.segment.Compactor - Compacted 25000000 nodes, 62174573 properties, 442755 binaries in 248722 ms.
18:46:51.053 [main] DEBUG o.a.j.oak.plugins.segment.Compactor - Compacted 30000000 nodes, 96729247 properties, 1040072 binaries in 364317 ms.