#97 Metriken, Hypothesen und Fehler: A/B-Testing in der Praxis mit Philipp Monreal

Engineering Kiosk

Kontinuierliches Lernen mit Hilfe von Experimenten und A/B-Testing

In vielen Diskussion geht es darum, welche Lösung die bessere ist und einen größeren Impact hat. Viele Entscheidungen werden aus dem Bauch heraus getroffen, obwohl gesagt wird, dass wir datengetrieben arbeiten. Doch Daten und Ergebnisse sind oft nicht vorhanden. Experimente mit A/B-Tests sind für solche Situationen das Mittel der Wahl.

Hypothese aufstellen. Experiment umsetzen und durchführen. Ergebnis evaluieren. Und das ganze wiederholen. Klingt einfach.Experimentelles Mindset: Check. Doch wie macht man sowas denn im Detail? Auf welche und wie viele Metriken schaut man während eines Experiments? Wie lange darf es dauern? Kann ich das ganze auch mit wenig Kunden und Traffic umsetzen? Was sind die typischen Fehler beim A/B-Testing? Was ist ein p-Wert, eine statistische Signifikanz, eine Power-Analyse, ein A/A-Test, der Priming-Effekt?

Das und noch viel mehr in dieser Episode mit unserem Gast Dr. Philipp Monreal.

Bonus: Ob A/B-Testing mit Podcast-Episoden-Titeln für normale Podcast-Hosts möglich ist.

Das schnelle Feedback zur Episode:

👍 (top) 👎 (geht so)

Feedback (gerne auch als Voice Message)

• EngKiosk Community: https://engineeringkiosk.dev/join-discord
• Email: [e-mail]
• Mastodon: https://podcasts.social/@engkiosk
• Twitter: https://twitter.com/EngKiosk
• WhatsApp [phone]

Gerne behandeln wir auch euer Audio Feedback in einer der nächsten Episoden, einfach Audiodatei per Email oder WhatsApp Voice Message an [phone]

Links

• Dr. Philipp Monreal: https://www.linkedin.com/in/dr-philipp-monreal-095a2648/
• Sample Size Calculator: https://www.evanmiller.org/ab-testing/sample-size.html
• Buch “Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing” von Ron Kohavi: https://www.amazon.de/Trustworthy-Online-Controlled-Experiments-Practical/dp/1108724264
• Andrew Gelman blog: https://statmodeling.stat.columbia.edu/
• “A day in the life of Oscar the cat”: https://core.ac.uk/download/pdf/31059034.pdf
• Buch “Thinking, Fast and Slow” von Daniel Kahneman: https://www.amazon.de/Thinking-Fast-Slow-Daniel-Kahneman/dp/0141033576
• How Not To Run an A/B Test: https://www.evanmiller.org/how-not-to-run-an-ab-test.html

Sprungmarken

(00:00:00) Intro

(00:01:01) Unser Gast: Philipp Monreal

(00:03:06) Experimenten in der Softwareentwicklung und das experimentelle Mindset

(00:07:46) Hypothesengetriebene Entwickeln und die Implementierung einer Lernkultur

(00:14:29) Metriken für Experimente und die Verteilung von Test- und Kontrollgruppen

(00:26:45) Statistisches Rauschen, der p-Wert, die Nullhypothese und statistische Signifikanz

(00:35:30) "Extraordinary claims, require extraordinary evidence" und "Any figure that looks interesting or different is usually wrong"

(00:41:49) Günstiges Testen im Tech-Bereich

(00:45:31) Mehrere Tests gleichzeitig durchführen

(00:49:57) Storytelling als Ergebnis-Präsentation und Kontrolle der Daten

(00:58:00) Vorbereitung und Nachbereitung von Experimenten

(01:01:44) Lernen als wichtiger Faktor in der Organisation Vermeidung von "Hippos"

(01:06:31) Podcast-Titel-Tests mit A/B-Testing

Hosts

• Wolfgang Gassler (https://mastodon.social/@woolf)
• Andy Grunwald (https://twitter.com/andygrunwald)

Feedback (gerne auch als Voice Message)

• EngKiosk Community: https://engineeringkiosk.dev/join-discord
• Email: [e-mail]
• Mastodon: https://podcasts.social/@engkiosk
• Twitter: https://twitter.com/EngKiosk
• WhatsApp [phone]