Prendiamo un caso d'uso in cui esiste un'attività A/B tale che l'80% del traffico sia assegnato a (Controllo A) e il 20% a (Trattamento B) per poi passare al 50% a (Controllo A) e al 50% a (Trattamento B) e infine allo 0% a (Controllo A) e al 100% a (Trattamento B). Dopo essere arrivati al 100% a (Trattamento B), come vengono assegnati gli utenti alle esperienze?
Se modifichi manualmente la divisione della percentuale con il 100% per l'esperienza B, i visitatori che in precedenza erano stati allocati ad A (Controllo) rimarranno nelle esperienze inizialmente assegnate. Il cambiamento di traffico influenzerà solo i nuovi ingressi.
Se vuoi modificare le percentuali o influenzare notevolmente il flusso di persone in ogni esperienza, crea o copia una nuova attività. Altrimenti, se modifichi le percentuali su esperienze diverse, occorrono alcuni giorni perché i dati si normalizzino nuovamente se molti acquirenti sono visitatori di ritorno. Per esempio, se il test A/B è diviso in 50/50 e cambi la divisione in 80/20, per i primi giorni dopo tale cambiamento, i risultati potrebbero apparire distorti. Se il tempo medio di conversione è alto, cioè occorrono diverse ore o addirittura giorni per effettuare un acquisto, queste conversioni ritardate possono influenzare i report. Così, in quella prima esperienza in cui il numero è passato da 50 a 80 e il tempo medio di conversione è di due giorni, solo chi è parte del 50% della popolazione si sta convertendo al primo giorno del test, anche se oggi l'80% della popolazione sta entrando nell'esperienza. Per questo, sembra che il tasso di conversione sia crollato, ma si normalizzerà di nuovo quando l'80% delle persone avrà due giorni di tempo per convertire