#53 - Die Probleme der LLMs: Halluzinationen, Datentrennung und Datenschutz mit Sam Nündel, Teil 1

Chatbots und KI - Nutzen, Anwendungen und Erfahrungen

In „Chatbots und KI“ diskutiert Thomas Bahn mit interessanten Gästen aus Wirtschaft und Wissenschaft über Nutzen, Anwendungen und Erfahrungen aus den Bereichen Chatbots und Künstliche Intelligenz.

Hinweis: Zum Zeitpunkt der Aufnahme, habe ich das Interview mit meiner Kollegin Tanja Nündel geführt. Meine Kollegin Tanja ist inzwischen mein Kollege Sam. Den Titel der Folge und das Titelbild haben wir schon mit Sams neuen Namen versehen, nur die Folge selbst können wir leider nicht so leicht im Nachhinein ändern. Deswegen spreche ich Sam in dieser Folge noch mit seinem alten Namen an.

Thema der heutigen Folge: Wenn Unternehmen heute ein großes Sprachmodell wie ChatGPT produktiv einsetzen wollen, gibt es eine Reihe von Herausforderungen, die gelöst werden müssen, um zuverlässige, vertrauenswürdige, sichere und gesetzeskonforme Ergebnisse zu erzielen. Ein großer Bereich, in dem derzeit geforscht und gearbeitet wird, ist die Richtigkeit und Sicherheit der Daten, insbesondere die folgenden drei Punkte: Halluzinationen, Datentrennung und Datenschutz. Einer der vielversprechendsten Lösungsansätze ist die sogenannte Retrieval Augmented Generation (RAG), die verspricht, die aktuellen Probleme der LLMs kostengünstig und zuverlässig zu lösen.

Im ersten Teil des Interviews mit Sam Nündel geht es darum, mit welchen Problemen insbesondere kleine und mittelständische Unternehmen derzeit konfrontiert sind, wenn sie ein Large Language Model einsetzen wollen und welche Lösungsansätze vor Retrieval Augmented Generation schon verfolgt wurden.

Zeitstempel: 00:00:00 Intro 00:02:31 Vorstellung von Sam Nündel 00:05:31 Welche Probleme gibt es bei der Nutzung von LLMs für KMU? 00:08:22 Halluzinationsproblem 00:10:06 Nachgelagerte Kontrolle der Ausgaben 00:12:48 Vorgelagerte Lösungsansätze 00:15:06 Feintuning eines LLM 00:18:46 Prompt Engineering und seine Grenzen 00:20:53 Retrieval Augmented Generation 00:24:02 Outro

Weitere Informationen:

Oliver Schonschek, Aug 2023 "Lässt sich ChatGPT datenschutzgerecht nutzen?" https://www.security-insider.de/laesst-sich-chatgpt-datenschutzgerecht-nutzen-a-8db9b6e37c1762d7135dd06c5e61b6bf/

Najeeb Nabwani, Sept 2023 "Full Fine-Tuning, PEFT, Prompt Engineering, and RAG: Which One Is Right for You?" https://deci.ai/blog/fine-tuning-peft-prompt-engineering-and-rag-which-one-is-right-for-you/

Cobus Greyling, Jan 2024 "Large Language Model Hallucination Mitigation Techniques" https://cobusgreyling.medium.com/large-language-model-hallucination-mitigation-techniques-a75b6f873318

Patrick Lewis et al. "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks" https://arxiv.org/abs/2005.11401v4

Siqing Huo et al., 2023 "Retrieving Supporting Evidence for LLMs Generated Answers" (preprint) https://arxiv.org/abs/2306.13781v1

Cobus Greyling, Oct 2023 "Emerging RAG & Prompt Engineering Architectures for LLMs" https://cobusgreyling.medium.com/updated-emerging-rag-prompt-engineering-architectures-for-llms-17ee62e5cbd9

Oded Ovadia et al. "Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs" (preprint) https://arxiv.org/abs/2312.05934

Heute zu Gast: Sam Nündel ist Experte auf dem Gebiet der KI-gestützten Langtext- und Dokumentenanalyse sowie der KI-gestützten Suche und arbeitet seit über drei Jahren bei assono. Derzeit forscht er zum Thema Retrieval Augmented Generation (RAG). https://www.linkedin.com/in/sam-nuendel/

Über Thomas Bahn: Thomas Bahn ist Geschäftsführer, Mitgründer und Gesellschafter der assono GmbH. Seit mehr als 20 Jahren berät er deutschlandweit erfolgreich Unternehmen rund um die Themen Software und Digitalisierung. Als Host des Podcasts „Chatbots und KI“ diskutiert Thomas Bahn mit interessanten Gästen aus Wirtschaft und Wissenschaft über Nutzen, Anwendungen und Erfahrungen aus den Bereichen Chatbots und Künstliche Intelligenz. https://www.linkedin.com/in/thomasbahn/

Produktion: Johannes Göttsch ist Mediengestalter und Conversational Designer bei der assono GmbH. https://www.linkedin.com/in/johannes-goettsch/

Bei Fragen oder Anmerkungen freuen wir uns auf Ihre Nachricht an [e-mail]

Der Podcast wird präsentiert von assono - Wir entwickeln Chatbots, mit denen sich Menschen gerne unterhalten.

In 3 Schritten zum eigenen KI-Chatbot-Projekt

1. Informieren Sie sich über das Chatbot-Angebot von assono
2. Vereinbaren Sie ein kostenloses Beratungsgespräch oder nehmen Sie an einer unserer Live-Demos teil
3. Starten Sie Ihr Chatbot-Projekt innerhalb weniger Wochen

Kapitel

1. Intro (00:00:00)

2. Vorstellung von Sam Nündel (00:02:31)

3. Welche Probleme gibt es bei der Nutzung von LLMs für KMU? (00:05:31)

4. Halluzinationsproblem (00:08:22)

5. Nachgelagerte Kontrolle der Ausgaben (00:10:06)

6. Vorgelagerte Lösungsansätze (00:12:48)

7. Feintuning eines LLM (00:15:06)

8. Prompt Engineering und seine Grenzen (00:18:46)

9. Retrieval Augmented Generation (00:20:53)

10. Outro (00:24:02)