80% のトラフィックが(コントール A)、(処理 B)に20 %、次いで、50%(コントール A)/50 %(処理 B)に移行し、最終的に 0 %/100 %(処理 B)に移行するユースケースを取り上げてみます。以後、100 %(処理 B)に移行しました。ユーザーはどのようにエクスペリエンスを割り当てますか?
エクスペリエンス B において、手動で分割%を 100 %に変更した場合、以前から A(コントロール)に割り当てられているビジターが初期に割り当てられたエクスペリエンスを維持します。 トラフィックの変更は、新しい加入者のみに影響します。
割合を変更する場合や、各エクスペリエンスへの人の流れに大きく影響を及ぼしている場合は、新しいアクティビティを作成するか、コピーすることをお勧めします。そうしなければ、エクスペリエンスごとに割合を変更した場合に、多くの購入者が再訪問者であるときにデータを再度標準化するのに数日かかります。例えば、A/B テストの割合が 50/50 であり、この割合を後で 80/20 に変更した場合、変更後の最初の数日間は、結果が偏って見える場合があります。コンバージョンまでの平均時間が長い場合、つまり、訪問者が購買するまでに数時間または数日かかる場合は、これらのコンバージョンの遅れがレポートに影響を及ぼすことがあります。そのため、数値が 50 から 80 に変更され、コンバージョンまでの平均時間が 2 日である最初のエクスペリエンスでは、テストの初日にコンバージョンされる訪問者は 50%だけですが、今日は 80%の訪問者がエクスペリエンスに入ることになります。これによりコンバージョン率が急落しますが、これら 80%のユーザーが 2 日かけてコンバージョンされた後に再度標準化されます。