Improving search at scale with efficient query experimentation
Die meisten Teams bewerten eine Änderung an der Suche nach Relevanz-Labels oder nach einem einzigen A/B-Test für die ganze Website. Beides sagt dir nicht, ob eine einzelne Suchanfrage besser geworden ist. Der Vortrag zeigt, wie du auf der Ebene der einzelnen Kaufabsicht experimentierst: welcher Metrik du trauen kannst, worüber du randomisierst und wie du entscheidest, wenn die Daten dünn sind.
Diese Methode läuft heute selbstständig als autoLoop: zwei Antworten auf dieselbe Kaufabsicht, live getestet, die bessere bleibt.
Heute im Einsatz: sinkenden Uplift umkehren