Episode 215: Wenn Rauschen Zu Geschichten Wird - Wie Transformer Halluzinieren Knowledge Science

Inhalt bereitgestellt von Sigurd Schacht, Carsten Lanquillon, Sigurd Schacht, and Carsten Lanquillon. Alle Podcast-Inhalte, einschließlich Episoden, Grafiken und Podcast-Beschreibungen, werden direkt von Sigurd Schacht, Carsten Lanquillon, Sigurd Schacht, and Carsten Lanquillon oder seinem Podcast-Plattformpartner hochgeladen und bereitgestellt. Wenn Sie glauben, dass jemand Ihr urheberrechtlich geschütztes Werk ohne Ihre Erlaubnis nutzt, können Sie dem hier beschriebenen Verfahren folgen https://de.player.fm/legal.

Knowledge Science - Alles über KI, ML und NLP »
Episode 215: Wenn Rauschen zu Geschichten wird - Wie Transformer halluzinieren

2d ago 36:20

MP3•Episode-Home

Send us a text

Warum erfindet KI manchmal Fakten, die nicht existieren? In dieser Episode analysieren Sigurd und Carsten ein faszinierendes Paper, das mit Sparse Autoencodern dem Ursprung von Halluzinationen auf den Grund geht. Das Überraschende: Füttert man Transformer mit reinem statistischen Rauschen, aktivieren sie stabile interne Konzepte wie Schildkröten, Segelboote oder Baseballs. Die Erkenntnis: Je unsicherer der Input, desto stärker greift das Modell auf seinen internen Bias zurück. Eine Episode über mechanistische Interpretierbarkeit, "Conceptual Wandering" in mittleren Netzwerk-Layern und die Frage, ob sich Halluzinationen prognostizieren und unterdrücken lassen.

AI Transparency Days: www.edif.ai/events

Paper: From Noise to Narrative: Tracing the Origins of Hallucinations in Transformers https://arxiv.org/abs/2509.06938

Support the show

245 Episoden

#Technologie #Bildung #Sigurd Schacht, Carsten Lanquillon #Carsten Lanquillon #Sigurd Schacht #Wissenschaft #Künstliche Intelligenz