Jeden Samstag das Neueste aus Computertechnik und Informationstechnologie. Beiträge, Reportagen und Interviews zu IT-Sicherheit, Informatik, Datenschutz, Smartphones, Cloud-Computing und IT-Politik. Die Trends der IT kompakt und informativ.
…
continue reading
Inhalt bereitgestellt von Sigurd Schacht, Carsten Lanquillon, Sigurd Schacht, and Carsten Lanquillon. Alle Podcast-Inhalte, einschließlich Episoden, Grafiken und Podcast-Beschreibungen, werden direkt von Sigurd Schacht, Carsten Lanquillon, Sigurd Schacht, and Carsten Lanquillon oder seinem Podcast-Plattformpartner hochgeladen und bereitgestellt. Wenn Sie glauben, dass jemand Ihr urheberrechtlich geschütztes Werk ohne Ihre Erlaubnis nutzt, können Sie dem hier beschriebenen Verfahren folgen https://de.player.fm/legal.
Ähnelt Knowledge Science - Alles über KI, ML und NLP
Jeden Tag eine App
…
continue reading
In dieser Serie diskutieren wir interessante Themen aus Software-Entwicklung und -Architektur – immer mit dem Fokus auf Praxistauglichkeit.
…
continue reading
Menschen! Technik! Sensationen!
…
continue reading
Das Kalenderblatt: Erstaunliches und Skurriles für jeden Tag – so informativ wie ein Lexikon, so bunt wie das Leben. Wie pflanzt man Spaghetti an? Und warum war Einstein auf dem Oktoberfest?
…
continue reading
Der abwechslungsreichste Spiele-Podcast der Welt. Mit Anne, Micha, Manu, Nina und illustren Gästen aus der Videospielbranche. Meinungen, Interviews und Croissants.
…
continue reading
Mitglieder der c't-Redaktion diskutieren über die aktuellen Themen aus dem c’t Magazin und was sonst noch so in der IT-Welt passiert.
…
continue reading
Helden der Computerspiele-Berichterstattung plaudern über historische und aktuelle Themen
…
continue reading
Jeden Tag entdecken Forscher etwas Neues. Jeden Tag verändert sich die Welt - durch Wissenschaft und Technik. Behalten Sie den Überblick: "BR24 - Aus Wissenschaft und Technik" erklärt, was wirklich wichtig ist und was dahinter steckt. Aktuelle Forschungsergebnisse, technische Neuerungen, Erfindungen, Diskussionen, Beobachtungen - auf den Punkt gebracht. So spannend kann Wissenschaft sein.
…
continue reading
Immer donnerstags live um 17 Uhr sprechen Anna Kalinowsky, Malte Kirchner und Volker Zota von heise online bei YouTube über die Tech-Themen der Woche. Zum Nachhören gibt es die #heiseshow auch als Podcast.
…
continue reading
Player FM - Podcast-App
Gehen Sie mit der App Player FM offline!
Gehen Sie mit der App Player FM offline!
))
Episode 154 - Sind LLMs auf Benchmark Daten manipuliert?
Manage episode 416428792 series 2911119
Inhalt bereitgestellt von Sigurd Schacht, Carsten Lanquillon, Sigurd Schacht, and Carsten Lanquillon. Alle Podcast-Inhalte, einschließlich Episoden, Grafiken und Podcast-Beschreibungen, werden direkt von Sigurd Schacht, Carsten Lanquillon, Sigurd Schacht, and Carsten Lanquillon oder seinem Podcast-Plattformpartner hochgeladen und bereitgestellt. Wenn Sie glauben, dass jemand Ihr urheberrechtlich geschütztes Werk ohne Ihre Erlaubnis nutzt, können Sie dem hier beschriebenen Verfahren folgen https://de.player.fm/legal.
In der heutigen Sendung versuchen wir rauszufinden, ob man sich auf die öffentlichen Benchmarks zum Testen und Vergleichen von Sprachmodellen verlassen kann. Oder ob Benchmark Testdaten zum Trainieren verwendet werden. Hierbei handelt es sich um das Benchmark Leakage. Hören Sie rein.
Wir sprechen vor allem über das Paper: Benchmarking Benchmark Leakage in Large Language Models https://arxiv.org/abs/2404.18824
204 Episoden
Teilen
Manage episode 416428792 series 2911119
Inhalt bereitgestellt von Sigurd Schacht, Carsten Lanquillon, Sigurd Schacht, and Carsten Lanquillon. Alle Podcast-Inhalte, einschließlich Episoden, Grafiken und Podcast-Beschreibungen, werden direkt von Sigurd Schacht, Carsten Lanquillon, Sigurd Schacht, and Carsten Lanquillon oder seinem Podcast-Plattformpartner hochgeladen und bereitgestellt. Wenn Sie glauben, dass jemand Ihr urheberrechtlich geschütztes Werk ohne Ihre Erlaubnis nutzt, können Sie dem hier beschriebenen Verfahren folgen https://de.player.fm/legal.
In der heutigen Sendung versuchen wir rauszufinden, ob man sich auf die öffentlichen Benchmarks zum Testen und Vergleichen von Sprachmodellen verlassen kann. Oder ob Benchmark Testdaten zum Trainieren verwendet werden. Hierbei handelt es sich um das Benchmark Leakage. Hören Sie rein.
Wir sprechen vor allem über das Paper: Benchmarking Benchmark Leakage in Large Language Models https://arxiv.org/abs/2404.18824
204 Episoden
Alle Folgen
×
Willkommen auf Player FM!
Player FM scannt gerade das Web nach Podcasts mit hoher Qualität, die du genießen kannst. Es ist die beste Podcast-App und funktioniert auf Android, iPhone und im Web. Melde dich an, um Abos geräteübergreifend zu synchronisieren.
Ähnelt Knowledge Science - Alles über KI, ML und NLP
Jeden Samstag das Neueste aus Computertechnik und Informationstechnologie. Beiträge, Reportagen und Interviews zu IT-Sicherheit, Informatik, Datenschutz, Smartphones, Cloud-Computing und IT-Politik. Die Trends der IT kompakt und informativ.
…
continue reading
Jeden Tag eine App
…
continue reading
In dieser Serie diskutieren wir interessante Themen aus Software-Entwicklung und -Architektur – immer mit dem Fokus auf Praxistauglichkeit.
…
continue reading
Menschen! Technik! Sensationen!
…
continue reading
Das Kalenderblatt: Erstaunliches und Skurriles für jeden Tag – so informativ wie ein Lexikon, so bunt wie das Leben. Wie pflanzt man Spaghetti an? Und warum war Einstein auf dem Oktoberfest?
…
continue reading
Der abwechslungsreichste Spiele-Podcast der Welt. Mit Anne, Micha, Manu, Nina und illustren Gästen aus der Videospielbranche. Meinungen, Interviews und Croissants.
…
continue reading
Mitglieder der c't-Redaktion diskutieren über die aktuellen Themen aus dem c’t Magazin und was sonst noch so in der IT-Welt passiert.
…
continue reading
Helden der Computerspiele-Berichterstattung plaudern über historische und aktuelle Themen
…
continue reading
Jeden Tag entdecken Forscher etwas Neues. Jeden Tag verändert sich die Welt - durch Wissenschaft und Technik. Behalten Sie den Überblick: "BR24 - Aus Wissenschaft und Technik" erklärt, was wirklich wichtig ist und was dahinter steckt. Aktuelle Forschungsergebnisse, technische Neuerungen, Erfindungen, Diskussionen, Beobachtungen - auf den Punkt gebracht. So spannend kann Wissenschaft sein.
…
continue reading
Immer donnerstags live um 17 Uhr sprechen Anna Kalinowsky, Malte Kirchner und Volker Zota von heise online bei YouTube über die Tech-Themen der Woche. Zum Nachhören gibt es die #heiseshow auch als Podcast.
…
continue reading
Player FM - Podcast-App
Gehen Sie mit der App Player FM offline!
Gehen Sie mit der App Player FM offline!
