Lokale Ausführung Generativer Modelle – DSGVO-konforme Alternativen zu ChatGPT.
- Seminar
- Präsenz / Virtual Classroom
- Zurzeit keine Termine
- 16 Unterrichtseinheiten
- Teilnahmebescheinigung
Von rechtlichen Grundlagen bis zur praxisnahen Integration – verantwortungsvoller KI‑Einsatz im Unternehmen.
Generative KI-Modelle wie ChatGPT sind leistungsstark, doch im Unternehmensumfeld oft mit rechtlichen und datenschutzrechtlichen Risiken verbunden. Dieses Seminar zeigt, wie lokale Sprachmodelle wie LLaMA, LM Studio und Ollama DSGVO-konform bereitgestellt und sicher betrieben werden können – von Setup und Fine-Tuning bis hin zu Integration, Updates und Governance.
Nutzen
- Sicherheit: Verstehen, wie generative KI DSGVO-konform eingesetzt wird
- Praxis: Eigene LLMs lokal installieren, betreiben und erweitern
- Unabhängigkeit: Modelle flexibel nutzen – ohne Cloud-Vendor-Lock-in
- Wettbewerbsvorteil: Fine-Tuning und Integration für konkrete Unternehmensanwendungen
- Weitsicht: Abwägen zwischen lokaler Nutzung und Cloud-Lösungen für die eigene Strategie
Abschluss
Teilnahmebescheinigung
Teilnahmebescheinigung der TÜV Rheinland Akademie
Zielgruppe
Geignet für Unternehmen, die KI gewinnbringend nutzen wollen, ohne Datenschutz oder geistiges Eigentum zu gefährden, wie z.B.:
- IT-Architekten & System Engineers
- Software Engineers
- Data Scientists & ML Engineers
- Compliance- und Datenschutzbeauftragte
- Innovations- & Projektleiter
Anforderungen
Vorausgesetzt werden grundlegende IT- und KI-Kenntnisse sowie ein eigener Laptop (Windows, Mac oder Linux).
Inhalte
Tag 1:
Grundlagen, Recht & erste Praxis
- Rechtliche Rahmenbedingungen & Compliance
- DSGVO & generative KI: Chancen & Risiken
- Urheberrecht: Wer ist „Autor“ von KI-Content?
- Unternehmens-Checklisten für Governance & Compliance
Einstieg in lokale Sprachmodelle - Überblick: LM Studio, Ollama & LLaMA im Praxiseinsatz
- Installation & erste Nutzung (Hands-on)
- Embeddings für Unternehmensdokumente
Open-Source-Modelle im Detail Hugging Face als zentrale Plattform (Modelle, Datasets, Spaces) - Modellfamilien im Überblick (LLaMA, Mistral, Phi, Falcon, Mixtral etc.)
- Parametergrößen (7B, 13B, 70B …) und deren Auswirkungen (Hardwarebedarf, Qualität)
- Quantisierung (Q4, Q8 …): Wie Speicher & Performance optimiert werden
- Model Configuration: Prompt-Templates, System-Prompts, Temperatur, Top-K/Top-P
- Diskussion: Welches Modell für welchen Anwendungsfall?
Tag 2:
Anpassung, Betrieb & Integration
- Fine-Tuning & Anpassung
- LoRA & QLoRA: Parameter-Effizienz erklärt
- Fine-Tuning mit Beispiel-Datensatz
- Typische Stolperfallen (Bias, Overfitting, rechtliche Aspekte)
Integration ins Unternehmensnetzwerk - Sicherheitsarchitekturen: Zugriff, Rollen & Identitäten
- Einbindung eines LLMs in interne Systeme (APIs, Datenbanken, Dokumentenablage)
- Governance: Best Practices für Unternehmensrichtlinien
Nachhaltiger Betrieb & Skalierung - Monitoring & Logging: Performance & Qualität im Blick behalten
- Update- & Backup-Prozesse für Modelle
- Versionierung & Reproduzierbarkeit
Hinweise
Die Seminarunterlagen werden in englischer Sprache bereitgestellt. Die Kurssprache ist Deutsch.
